AI エージェントとエージェント型ワークフローを評価するためのカスタムメトリクスを作成し、想定される応答に対して出力をテストします。
始める前に
必要なロール:sn_aia.admin
このタスクについて
カスタムメトリクスを使用すると、AI エージェントとエージェント型ワークフローの有効性を測定することを選択できます。1 つまたは複数のエージェント型 AI 資産に適用するカスタムメトリクスを作成できます。作成したら、エージェント評価のガイド付きセットアップでカスタムメトリクスを選択できます。カスタムメトリクスと Now Assist アプリケーションとともにインストールされるメトリクスの両方またはどちらかを選択できます。カスタムメトリクスの例は次のとおりです。
- 特定のフレーズが応答にあることをテストする
- テストの詳細度に対する応答の長さの測定
スクリプトを記述するときは、パーサーツールの出力にアクセスできます。仕組みの詳細については、 エージェント型評価パーサーツール を参照してください。
手順
-
移動先 .
-
[評価メトリクス] タブに移動し、[ メトリクスの作成] を選択します。
-
[一般情報] ステップで、カスタムメトリクスの名前と簡単な説明を入力します。
ガイド付きセットアップのステップ間を移動するには、[ 続行 ] ボタンと [戻る ] ボタンを使用します。カスタムメトリクスの名前を入力した後、[ スクリプトエディターにスキップ] を選択すると、スクリプトの記述に直接スキップできます。後でスクリプトエディターの [メトリクス設定] タブから詳細を入力できます。
- オプション:
[メトリクスの詳細] ステップで、評価メトリクス、その仕組み、メトリクスの出力形式に関する情報を追加します。
[ このコンテンツを使用] を選択すると、指定した詳細が、エージェント評価実行のガイド付きセットアップのオプションとともに表示されます。
詳細を入力する必要はありませんが、カスタムメトリクスの開発プロセスに役立つ情報とコンテキストを指定するオプションがあります。スクリプトエディターの [ メトリクス設定 ] タブからメトリクスの詳細を追加することもできます。
-
ガイド付きセットアップの [サマリー ] ステップでメトリクス情報を確認した後、[ セットアップを終了] を選択すると、スクリプトエディターにリダイレクトされます。
- オプション:
メトリクスの入力を追加します。
デフォルトでは、実行計画レコードsys_idはメトリクスの入力として含まれています。
パーサーツールを使用すると、XML または JSON コンテンツを自分で解析しなくても、実行計画ログのコンテンツにアクセスできます。パーサーツールの出力には 、tool.output を使用してアクセスできます。
-
[メトリクスの入力] セクションで、プラスアイコンを選択して [メトリクスの入力を追加] モーダルを開きます。
-
フォームを完了します。
| フィールド |
説明 |
| 入力データタイプ | 入力のデータタイプと形式を選択するドロップダウンセレクター |
| 名前 | 入力用の短くて分かりやすい名前 |
| 説明 | データ入力の説明。スクリプトエディターの [メトリクスの入力] セクションで入力を選択すると、入力の説明を表示できます。 |
| 値 | スクリプトエディタでスクリプトをテストするために使用するデフォルトの入力値 |
| 必須 | 評価を実行するために入力の提供が必要かどうかを判断します |
-
[Add (追加)] を選択します。
-
スクリプトベースのメトリクスを記述します。
スクリプトエディタのデフォルトのコードブロックには、スクリプト作成プロセスをガイドするコメント付きコードが含まれています。
いつでも [メトリクス出力テンプレート ] を選択すると、スキルキットで評価実行結果を確認するときに出力を正しく表示するために必要なコードを確認できます。このコンテンツは、スクリプトエディタを最初に開いたときのデフォルトのコードブロックにも含まれます。必要に応じて、テンプレートをコピーしてスクリプトに貼り付けることができます。必ず値をカスタムメトリクスの結果に変更してください。
カスタムメトリクスの詳細は、ガイド付きセットアップの [メトリクス設定] タブで確認できます。
変更を加えたら、[ 保存 ] ボタンを選択して変更を保存できます。
重要: 保存した場合でも、メトリクスは公開するまでエージェント評価実行で使用できません。
-
[ テストを実行 ] を選択して [テストを実行] モーダルを開き、メトリクステストの入力を入力してテストを実行します。
少なくとも 1 つのテストを実行した後、実行全体とパーサーツールの両方の応答と要求を確認できます。
少なくとも 1 つのテストを実行した後、[ テストの実行 ] ドロップダウン ボタンを選択し、[ テスト履歴の実行 ] を選択して、過去のテスト結果を含む新しいサイドバーを開くことができます。テストを実行したユーザーでテスト実行をフィルタリングできます。
-
[ メトリクスを公開] を選択してスクリプトを保存し、メトリクスを有効にします。
公開する前に、出力がメトリクスの出力テンプレートと一致していることを確認してください。そうしないと、メトリクスが期待どおりに機能しないか、評価実行結果ページに正しく表示されない可能性があります。
タスクの結果
エージェント型 AI 資産の評価に使用できる新しいカスタムメトリクスが追加されました。
次のタスク
評価実行を実行し、ガイド付きセットアップでカスタムメトリクスを選択します。評価実行の詳細については、「 エージェント型 AI の評価 」を参照してください。
評価実行のガイド付きセットアップにカスタムメトリクスが表示されない場合は、それが公開済みであることを確認してください。