デスクトップアプリケーションとのユーザーインタラクションを自動キャプチャして自動化されたワークフローを作成する、デザインワークスペースの記録機能。レコーダーは、クリック、キーストローク、データ入力、視覚的およびコンテキスト情報を画面とステップとしてキャプチャします。

ツール構成で指定した高レベルの目標に基づいて、AI エージェントがタスクを完了するために必要なステップを動的に決定するデスクトップアクションのタイプ。定義されたパスデスクトップアクションとは異なり、アダプティブパスデスクトップアクションは固定された一連のステップに従いません。代わりに、AI エージェントは Web ページの現在のステータスをチェックし、実行時にアプローチを調整します。ステップは動的に決定されるため、同じタスクの実行間で結果が異なる場合があります。

例:オープンインシデントを確認し、現在の優先度レベルに基づいてルーティングします。次のステップは、AI エージェントがページで見つけた値によって異なります。

自然言語入力を処理し、実行計画を生成し、デスクトップアクションを自律的または半自律的に実行できる、AI エージェントスタジオの大規模言語モデル (LLM) 命令とツールのセット。

ServiceNow AI エージェントを作成、管理、テスト、アクティブ化するためのプラットフォームインターフェイス。デスクトップアクションは、AI エージェントが実行中に使用できるツールとして AI エージェントスタジオ に公開されます。

キャプチャされた画面上の参照ポイントで、自動化が近くの UI 要素を識別して操作するのに役立ちます。実行中、システムはコンピュータービジョンを使用してアンカーを特定し、アンカーから相対的な距離にある UI 要素を識別します。アンカーは、ターゲット要素の場所が移動する可能性がある場合や、UI レイアウトがセッション間で異なる場合に、ステップの安定性と精度を向上させます。

アクションレコーダーを使用してデスクトップアプリケーションとのユーザーインタラクションを記録することにより、デスクトップアクションを作成する方法。レコーダーは、クリック、キーストローク、データ入力、および視覚的およびコンテキスト情報をキャプチャします。

事前ビルド済みコネクタを使用して、UI インタラクションなしでバックグラウンドでアプリケーションやシステムコンポーネントとやり取りするデスクトップアクションのタイプ。サポートされているアプリケーションには、 Microsoft Excel、 Microsoft Outlook、 Microsoft Word、PDF、PowerShell、SQL、SSH、およびシステムアクションがあります。バックグラウンドタスクデスクトップアクションはユーザーが作成できません。

システムがステップを実行する前にキャプチャ画像を照合するために必要な精度レベル。値 1 は 100% 一致、0.5 は 50% 一致を定義します。デフォルト値は 0.95 (95% 一致) です。

AI エージェントがデスクトップおよび Web アプリケーションとやり取りする方法を定義する再利用可能な自動化。デスクトップアクションは、画面、アンカー、およびステップで構成されます。画面上のタスクとバックグラウンドタスクの 2 つのタイプがあります。このデスクトップアクションでは、 AI デスクトップアクション Windows アプリケーションで固定された一連のステップを設計します。AI エージェントは、これらのステップを指定した順序で逸脱することなく実行します。定義されたパスのデスクトップアクションは、デスクトップアプリケーションと Web ベースのアプリケーションの両方をサポートしており、Google Chrome またはブラウザ拡張機能は必要ありません。

毎回同じシーケンスに従い、予測可能な UI インタラクションを伴うタスクには、定義されたパスのデスクトップアクションを使用します。適応パスのデスクトップアクションとは対照的です。

例:実行間で変更されない固定フォーム構造を使用して、出荷管理アプリケーションに出荷データを自動的に入力します。

デスクトップアクションを作成、構成、管理、テストするためのエージェント型デスクトップ内のインタラクティブなノーコード環境。ワークスペースは、さまざまなアプリケーション全体のビジネスプロセスをキャプチャするマルチスクリーンの自動化ワークフローを設計できるビジュアルキャンバスを提供します。AI エージェントアドミン (sn_aia.admin) ロールを持つユーザーがアクセスできます。

デスクトップアクションと、デスクトップアクションがやり取りするデスクトップアプリケーションとの関連付けを保存するレコード。デスクトップアクションアプリケーションの [sn_desktop_core_action_application] テーブルに保存されます。

自動化がメインデスクトップセッションから切り離されて実行される実行ワークスペース内の仮想環境。他のタスクを続行しながら、デスクトップアクションの実行と、デスクトップアプリケーションとのやり取りを監視できます。

デスクトップアクションが実行される実行ワークスペース内の隔離された Windows セッション。デスクトップアクションをテストするか、 Now Assist パネルから自動化をトリガーすると、デスクトップセッションが自動的に起動します。

実行ワークスペースでの自動化の現在のステータス。ステータスには、[準備完了]、[開始済み]、[実行中]、[成功]、[失敗]、[キャンセル] があります。

テスト中または AI エージェントの実行中にデスクトップアクションが実行される隔離されたデスクトップセッション。このワークスペースは、デザインワークスペースからデスクトップアクションをテストするか、 Now Assist パネルから自動化をトリガーすると自動的に起動します。実行ワークスペースを直接開くことはできません。

インタラクションを自動的に記録するのではなく、画面キャプチャを取得し、アンカーを挿入し、ステップを個別に定義して、デスクトップアクションを作成する方法。

ServiceNow ユーザーが AI エージェントの自動化をトリガーするインターフェイス。Now Assistパネルから指示を提供すると、AI エージェントは実行ワークスペースで適切なデスクトップアクションを選択して実行します。Now Assistパネルユーザー (now_assist_panel_user) ロールを持つユーザーがアクセスできます。

シッククライアントアプリケーション、レガシーシステム、または API のない SaaS アプリケーション上で、UI 要素との人間のインタラクションをシミュレートするデスクトップアクションのタイプ。インタラクションには、ボタンのクリック、テキストの入力、メニューからの選択などがあります。画面上のデスクトップアクションは、デザインワークスペースで作成および管理されます。

ユーザー名やパスワードなどの認証情報の参照名を保存する、AI エージェントアドミンによって作成されたレコード。AI エージェントは、デスクトップアクションの実行中にこれらのレコードにアクセスして、機密性の高い値を安全に取得します。現在、SSH コネクタのバックグラウンドタスクデスクトップアクションでのみサポートされています。

特定のユーザーのユーザー名やパスワードなどの実際の認証情報値を格納するパラメーターレコードの下の子レコード。パラメーターレコードごとに、ユーザー 1 人あたり 1 つのパラメーター値レコードのみを作成できます。

デスクトップアクション内のアプリケーションウィンドウのキャプチャ画像。画面は、実行中に自動化が移行するアプリケーションステータスを表します。各画面には、1 つ以上のアンカーと関連するステップが含まれています。

デスクトップセッションを表示に自動的に適応させる実行ワークスペースの表示機能。次の 2 つのオプションがあります。

• ウィンドウに合わせる:実行ワークスペース内に収まるようにセッションをスケーリングします。
• 元の解像度:必要に応じてスクロールバーとともにセッションをネイティブ解像度で表示します。

ボタンのクリック、テキストの入力、データの抽出など、デスクトップアクション内での個々のインタラクション。ステップはアンカーを基準にして配置されます。

• 入力ステップタイプには、Set Text、Click、Mouse Click、および Send Keys があります。
• 出力ステップタイプには、テキストを取得、テーブルを取得、OCR Read Text などがあります。

実行ワークスペースの手動コントロールオプション。ステップインは、OTP や CAPTCHA の入力などの手動入力のために制御権をユーザーに移管します。ステップアウトは、自動化を続行するための制御を AI エージェントに返します。

AI エージェントスタジオ でアクティブ化され、AI エージェントに追加されたデスクトップアクション。ツールは、実行中に特定のタスクを完了する機能を AI エージェントに提供します。AI エージェントは、名前と説明に基づいてツールを選択します。