プロンプトを評価

  • リリースバージョン: Australia
  • 更新日 2025年07月31日
  • 所要時間：2分

    • Now Assist スキルキット評価ツールを使用して、スキルプロンプトの有効性を評価します。

    始める前に

    必要なロール：sn_skill_builder.admin

    手順

    1. 移動先 すべて > Now Assist スキルキット > ホーム.
    2. 評価するスキルを選択します。
    3. [プロンプトパフォーマンス] タブを選択します。
    4. [評価実行] タブを選択します。
    5. テーブルまたはデータコレクションからデータセットを作成します。
      表 : 1. データセットを作成
      メソッド ステップ
      テーブルからデータセットを作成する
      1. データセットに名前と説明を付けます。
      2. [テーブル] を選択します。
      3. 使用するテーブルを見つけます。
      4. 使用するレコードの最大数を選択します。
      5. 条件を追加する。
      6. [プレビューの生成] を選択します。
      7. マッピングを選択します。
      8. [作成] を選択します。
      データコレクションからデータセットを作成する
      1. データセットに名前と説明を付けます。
      2. [データコレクション] を選択します。
      3. Now Assist データキット で作成したデータコレクションを選択します。
      4. [プレビューの生成] を選択します。
      5. マッピングを選択します。
      6. [作成] を選択します。
    6. [評価実行] の追加アイコン [追加] アイコンを選択します。
    7. 評価実行に名前と説明を付けます。
    8. 評価するプロンプトを 1 つ以上選択します。
    9. [ 保存] > [次へ] を選択します。
    10. データセットを選択します。
    11. [ 保存] > [次へ] を選択します。
    12. [ 品質 ] タブを展開します。
    13. 評価するメトリクスを選択します。
      表 : 2. 評価メトリクス
      アセスメント方法 メトリクス 説明
      人間 人間によるフィードバック 人間による評価は、応答を生成するすべてのプロンプト実行で使用できるデフォルトのオプションです。満足度に基づいて、賛成または反対で応答を評価できます。評価の選択を説明する、より詳細なフィードバックを提供するオプションもあります。
      オートメーション 正確性 正確性メトリクスは、生成された応答の正確性、完全性、適切性、および文章品質を指定された指示に照らして評価します。このメトリクスは、テキストが指示を正確に反映していること、すべての重要なポイントをカバーしていること、関連性を保持していること、および適切に記述されていることを確認するのに役立ちます。
      オートメーション ゴールデンレポンスによる正確性 ゴールデンレスポンスを使用した正確性メトリクスでは、事前定義された参照を使用して、生成されたレスポンスの正確性、完全性、適切性、および文章品質を指定された指示に照らして評価します。このメトリクスは、テキストが指示を正確に反映していること、すべての重要なポイントをカバーしていること、関連性を保持していること、および適切に記述されていることを確認するのに役立ちます。可能な限り、このメトリクスを使用する必要があります。
      オートメーション 忠実度 忠実度メトリクスは、生成された応答が、指定された指示にある情報とコンテキストを正確に反映しているかどうかを評価します。この指標は、テキストに幻、虚構の事実、または根拠のない結論が含まれていないことを確認し、ソース資料との整合性を維持するのに役立ちます。
    14. [ 保存] > [次へ] を選択します。
    15. 評価の選択内容をレビューします。
    16. [ 保存して評価] を選択します。
    17. オプション: 人間による評価を行います。
      1. [ 人間による評価] を選択します。
      2. 評価で使用するレコードを選択します。
      3. プロンプトを展開して結果を読みます。
      4. 人間による評価の賛成または反対のアイコンを選択して、評価を行ってください。
      5. さらに情報を追加し、[ 送信] を選択します。