AI デスクトップアクションのステップを手動でキャプチャして繰り返しタスクを自動化する

  • リリースバージョン: Australia
  • 更新日 2025年11月10日
  • 所要時間:8分
  • 手順を手動でキャプチャしてデスクトップアクションを作成し、 AI デスクトップアクションの反復タスクを自動化します。1 つ以上のアプリケーション画面で定義したステップは、画面上のタスクタイプの再利用可能なデスクトップアクションとして保存されます。

    始める前に

    AI デスクトップアクション機能にアクセスするには、次の手順を実行します。

    次のシステム要件が満たされていることを確認します。

    • Windows 11 オペレーティングシステムが使用されています。
    • .NET 9.0 ランタイム v9.0.10 と .NET 9 デスクトップ ランタイム v9.0.10 がインストールされています。
    • 拡張モニターが接続されていません。
    • テーマは、記録と実行に使用されるシステム間で一致する必要があります。
    • AI デスクトップアクション実行ワークスペースの使用を開始する前に、コンピューターでリモートデスクトップを有効にし、アカウントにリモートデスクトップアクセス権限を付与する必要があります。

    デザインワークスペースとアクションレコーダーについて理解してください。詳細については、「AI デスクトップアクション デザインワークスペース」と「AI デスクトップアクションのアクションレコーダー」を参照してください。

    必要なロール:sn_aia.admin

    このタスクについて

    手動で画面をキャプチャしてステップを定義することで、自動化でのユーザーインタラクションをシミュレートできます。

    ウィンドウ内のコントロールを使用して、アプリケーションウィンドウの領域をキャプチャできます。その後、1 つ以上のアンカーを設定し、そのウィンドウでのユーザーインタラクションを表すステップを定義できます。

    • アンカー:アンカーは、相対的な距離でステップを定義できる静的領域を定義することで、インタラクションのターゲット領域を指定するのに役立ちます。
    • ステップ:ステップは、クリック、選択、入力、スクロールなどの連続したインタラクションです。
    注:
    自動化で OTP や CAPTCHA の入力などの手動入力が必要な場合は、実行中にユーザー入力を待つように AI エージェントに指示を与える必要があります。そうしないと、自動化を続行できません。

    手順

    1. Windows システムから、AI デスクトップアクション アプリケーションを起動します。
    2. ログインページの [ ServiceNow URL を追加 ] フィールドに、 ServiceNow インスタンス URL を入力します。
      例: https://<instance name>.service-now.com
      AI デスクトップアクションインスタンス URL を入力するためのログイン画面ServiceNow
    3. [Proceed] を選択します。
    4. ユーザー名とパスワードを入力して、 ServiceNow アカウントにログインします。
      sn_aia.admin ロールが必要です。

      ServiceNowアカウントのユーザー名とパスワードを入力するためのログインウィンドウ。

    5. オプション: オンボーディングジャーニーウィザードで、オンボーディングを完了し、[ 開始] を選択します。
      アプリケーションのハイライトを表示する 5 ページで構成されたオンボーディングジャーニーウィジェット。

      AI デスクトップアクションを初めて起動する場合は、オンボーディングジャーニーウィジェットが表示されます。次回AI デスクトップアクション起動時にウィジェットを非表示にする場合は [次回から表示しない] を選択し、オンボーディングをスキップするには [イントロをスキップ] を選択できます。

    6. AI デスクトップアクション ホームページで、[デスクトップアクションの作成] を選択します。
      AI デスクトップアクション [デスクトップアクションを作成 (Create desktop action)] UI アクション、検索および選択オプション、および既存のデスクトップアクションのカードを表示するホームページ。
    7. [新しいデスクトップアクション] ダイアログボックスで、[ 手動キャプチャ手順] を選択します。
      手動キャプチャオプションが選択され、デスクトップアクションの名前と説明を入力するフィールドが表示された、新しいデスクトップアクションウィンドウ。
    8. デスクトップアクションの名前と説明を入力します。
    9. [ キャプチャの開始] を選択します。

      [デザインワークスペース] が表示されます。

      スクリーンショットがキャプチャされない状態のワークスペースを設計します。
    10. 画面をキャプチャします。
      1. [デザイン] タブで、[ キャプチャオプション ] アイコン を選択します。
      2. [ 手動キャプチャ] を選択します。
        [レコーダーによる自動キャプチャ] と [手動キャプチャ画面] の 2 つのオプションが表示されているデザインワークスペース。

        AI デスクトップアクションウィンドウが最小化され、[キャプチャ] パネルが起動します。

        [選択] および [キャンセル] UI アクションがある手動キャプチャフローティングパネル。
      3. ステップを自動化するアプリケーションを開きます。
      4. [キャプチャ] パネルの [ 選択 ] アイコン を選択するか、キーボードの Ctrl + Shift + C を押して、外部アプリケーションのウィンドウの領域をキャプチャします。
        注:
        Ctrl + Shift + C ショートカットが Zoom などのマシン上の別のアプリケーションと競合する場合は、[選択] ボタンを使用して手動スクリーンキャプチャを開始する必要があります。
        たとえば、Web ブラウザーのボタンやテキストフィールドの周囲の領域をキャプチャできます。カーソルアイコンが アイコンに変わります。
      5. アイコンをドラッグして、必要な画面領域を選択します。
        アイコンを終了すると、選択した領域がスクリーンショットとしてデザインワークスペースにキャプチャされます。

        キャプチャされた画面に満足できない場合は、[ 画像をキャプチャ] アイコン を選択して画面領域を再キャプチャできます。

    11. アンカーを挿入します。
      1. [ アンカーを追加 ] アイコン を選択して、キャプチャされた画面にアンカーを挿入します。
        ウィンドウタイトルにアンカーが追加された出荷管理アプリのスクリーンキャプチャ

        アンカーは、自動化が近くの UI 要素を識別して操作するのに役立つ、画面上の参照点です。実行中、システムはコンピュータービジョンを使用してアンカーを特定し、アンカーから関連する距離にある UI 要素を識別します。アンカーは、ターゲット要素の場所が移動する可能性がある場合や、UI レイアウトがセッション間で異なる場合に、ステップの安定性と精度を向上させます。

        注:
        動的に変化する UI 要素をアンカーとして使用しないでください。アクション後 (クリック後など) に要素の色、テキスト、または状態が変更された場合は、画面上で静止したままの別のアンカーを選択します。
      2. キャプチャ画像の変わらない部分にアンカーを移動します。
        たとえば、アンカーをタイトルまたはフィールドラベルに移動します。

        アンカーの下の領域がキャプチャ画像の対応する領域と正確に一致しない場合、アンカーは認識されず、ステップは意図したとおりに実行されません。アンカーを設定するための画像の静的領域を選択します。

        各画面に複数のアンカーを追加できます。複数のアンカーにより、画像内の異なる場所をターゲットにする際、アンカーとターゲットの間の位置関係をより正確に定義できます。

    12. 手順を構成します。
      1. [アンカーコントロール] メニューから、[ ステップを追加 ] アイコン を選択します。
      2. コンテキストメニューから、このステップに対して実行するステップのタイプを選択します。
        アンカーが追加されたアプリのスクリーンキャプチャ。さまざまなタイプの入力ステップと出力ステップが表示されています。
        表 : 1. アクションの説明
        目標 ステップ タイプ
        フィールドにテキストを入力する テキストを設定 入力 ユーザー名、住所、サーベイ回答などのテキストデータを入力するか、テキスト入力が許可されている場合は任意の状況で入力します。
        注:
        このフィールドに静的な値を設定すると、自動化は実行中にその値を使用し、 Now Assist パネルからの入力を求めません。
        マウスクリックをシミュレートする Click 入力 ボタンをクリックしたり、メニューを開いたり、通常はマウスのクリックによって実行されるステップを実行します。
        代替マウス操作 (右クリック、ドラッグ、スクロール、貼り付けなど) をシミュレートする マウスクリック 入力 オブジェクトを右クリックして選択したり、Web ページをスクロールしたりするなど、さまざまなマウスデバイスアクションを実行します。
        キー押下またはキーの機能をシミュレートする キーの送信 入力 フィールドや要素に Ctrl + C を入力してテキストをコピーするなど、キーボードショートカットを実行します。
        注:
        このフィールドに静的な値を設定すると、自動化は実行中にその値を使用し、 Now Assist パネルからの入力を求めません。
        ウィンドウまたは Web ページからテキストをキャプチャする テキストを取得 出力 ソース領域からテキストを受信します。
        テーブルをキャプチャする テーブルを取得 出力 テキストがテーブル形式であるときにソース領域からテーブルを受け取ります。
        注:
        ステップでテーブルデータを正常にキャプチャするには、データが既にテーブル形式になっている必要があります。このステップでは、通常のテキストをテーブルデータに変換できません。
        画像からテキストを読み取る OCR Read Text 出力 画像からテキストを認識し、標準のテキスト形式で返します。

        自動化ステップを表す複数のステップを追加できます。

    13. [プロパティ] パネルで追加された画面、アンカー、およびステップのプロパティを構成します。
    14. オプション: 追加されたすべての画面、アンカー、およびステップの自動生成名を変更します。

      自動生成された名前は、次の命名ガイドラインに従って変更できます。

      • 名前フィールドを空にすることはできません。
      • 名前フィールドには英数字のみを使用する必要があります。スペースと特殊文字は使用できません。
      • 各名前は、それぞれの親レベルで一意である必要があります。
        • 各画面には、デスクトップアクションレベルで一意の名前が必要です。
        • 各アンカーには、画面レベルで一意の名前を付ける必要があります。
        • 各ステップには、アンカーレベルで一意の名前を付ける必要があります。

    次のタスク

    1. デスクトップアクションの詳細を構成します。詳細については、「AI デスクトップアクションでのデスクトップアクションへの詳細の追加」を参照してください。
    2. デスクトップアクションをテストしてアクティブ化し、AI エージェントにツールとして追加できるようにします。詳細については、「AI デスクトップアクションでのデスクトップアクションのテストとアクティブ化」を参照してください。
    3. AI エージェントスタジオ でデスクトップアクションをツールとして AI エージェントに追加します。詳細については、「AI エージェントへのデスクトップアクションの追加」を参照してください。