テストセットの作成
NLUテストセットを作成または追加するには、正しいインテントに一致するテスト発言のファイルをアップロードできます。テストセットを使用して、モデルのパフォーマンスを評価します。
始める前に
- NLU ワークベンチ - Core プラグイン、NLU ワークベンチ プラグイン、NLU ワークベンチ - Advanced Features プラグイン、および 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します
- 仮想エージェント および AI 検索の NLU モデルでテストセットを使用できます。
- 必要なロール:nlu_editor、nlu_admin、または admin。エディターをモデルに割り当てる必要があります。
このタスクについて
CSV または XLSX (Excel ワークブック) ファイルには、テスト発言と想定されるインテントをペアにするテーブルが含まれている必要があります。ファイルには、最大 10,000 件の発言を含めることができます。ファイルに「発言」と「想定されるインテント」というタイトルの列があることを確認します。
注:
英語以外の言語のテストセットの場合は、値が UTF-8 の glide.import.csv.charset システムプロパティを追加する必要があります。「 インポートセットのプロパティ」を参照してください。
最も正確なテスト結果を得るには、モデルがユーザーから遭遇する可能性がある発言を含めます。モデルのすべてのインテントをカバーするテスト発言があることを確認します。
想定されるインテントのないテスト発言の約 10% を含めることを目指します。想定されるインテントのない発言を含めると、インテントが予測されるべきではない無関係な発言を検出するモデルの能力を評価するのに役立ちます。
注:
ファイル内のテスト発言に想定されるインテントがないことを示すには、[想定されるインテント] の値を空にする必要があります。
| 発言 | 想定されるインテント |
|---|---|
| ハンバーガーを食べさせてください | 順番 |
| 支払いたい | 支払い |
| 何か甘いものを買って | 順番 |
| レストランは営業していますか | |
| 支払いに問題があります | 注文、支払い |
| 総額 | 支払い |
手順
次のタスク
テストセットを使用して、モデルでテストを実行します。方法については、「 モデルをテスト 」または「 マルチモデルバッチテストの実行」を参照してください。
テストセットを作成したら、さらに発言を追加できます。テストセットを表示しているときに、[ 発言をインポート] をクリックします。図 : 1. [発言をインポート] ボタンのあるテストセットページ
インポートする追加の発言を含む CSV または XLSX (Excel ワークブック) ファイルを選択します。 図 : 2. [発言をインポート] ウィンドウ
[インポート] をクリックします。発言がテストセットに追加されます。インポート後、テストセットを使用するすべてのテストを再実行します。