モデルをテスト
デフォルトのテストセットに対して 自然言語理解 (NLU) (NLU) モデルをテストします。テストは、モデルが現在のコンテンツでどのように動作しているかを判断するのに役立ちます。
始める前に
- NLU モデルビルダー - コアプラグイン、NLU モデルビルダープラグイン、 NLU ワークベンチ - 拡張機能型プラグイン、および 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します。
- 仮想エージェント または AI 検索用のトレーニング済みモデルを用意します。詳細については、「モデルの構築とトレーニング」を参照してください。
- モデルをテストするためのテストセットを用意します。詳細については、「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_editor、nlu_admin、または admin エディターをモデルに割り当てる必要があります。
このタスクについて
テスト発言と予想されるインテントを含むデフォルトのテストセットを使用して、モデルのテストを実行します。
- テストセットで想定されるインテントがモデル内のどのインテントにも対応しない場合、それらのインテントを含む発言はテストに使用されません。これらはテスト結果に含まれていません。
- ダイアログアクトの会話中の応答は、 NLU ワークベンチ では試したりテストしたりすることはできません。
- [関連なし] とマークされた発言に対してモデルが予測を返さない場合、その結果は [正解] としてカウントされます。
- テストセットがモデル内のインテントの少なくとも 60% をカバーしていない場合、システムは信頼度のしきい値を推奨しません。ただし、テストは引き続き実行できます。
このシナリオ例では、モデルをトレーニング済みで、パフォーマンスを評価したいと考えています。
手順
-
[新しいテストを実行] を選択します。
注:他のフェーズは、テスト中は利用できません。
-
[ 新しいテストの実行の確認 ] ダイアログ ボックスが開くので、[ OK] を選択します。
テストが開始され、 テストが進行中です... ページがロードされます。
タスクの結果
テストが完了すると、[ モデルをテストして公開します ] ページがリロードされます。[テスト実行日] フィールドには、このテストの日時が反映されます。
[ 概要 ] タブには、テスト結果のチャートが表示されます。また、上位 5 つの誤ったインテントと上位 5 つの欠落しているインテントのリストも表示されます。
[ 詳細な結果 ] タブには、すべてのテスト発言とその予測結果が一覧表示されます。
以前のテスト結果を表示するには、[モデルをテストして公開] で [テスト履歴を表示] をクリックするか、 .
次のタスク
その結果を使用して、モデルのコンテンツを編集および改善します。満足のいく結果が得られたら、モデルを公開して、 仮想エージェントなどの使用アプリケーションで使用できるようにします。