モデルをテスト
自然言語理解 (NLU) (NLU) モデルをデフォルトのテストセットに対してテストします。テストは、現在のコンテンツでモデルがどのように実行されているかを判断するのに役立ちます。
始める前に
- NLU Model Builder - Core プラグイン、NLU Model Builder プラグイン、 NLU ワークベンチ - Advanced Features プラグイン、および 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します。
- 仮想エージェント または AI 検索のトレーニング済みモデルを用意します。詳細については、「モデルを構築してトレーニングする」を参照してください。
- モデルをテストするためのテストセットを用意します。詳細については、「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_editor、nlu_admin、または admin。エディターをモデルに割り当てる必要があります。
このタスクについて
デフォルトのテストセットを使用して、モデルのテストを実行します。このセットには、テスト発言と予想されるインテントが含まれています。
- テストセット内の想定されるインテントがモデル内のどのインテントにも対応しない場合、それらのインテントを持つ発言はテストに使用されません。これらはテスト結果に含まれません。
- ダイアログアクションの会話途中の応答は、 NLU ワークベンチで試行またはテストすることはできません。
- 関連なしとしてマークされた発言の予測がモデルから返されない場合、その結果は「正解」としてカウントされます。
- テストセットがモデル内のインテントの少なくとも 60% をカバーしていない場合、信頼度しきい値は推奨されません。ただし、テストは引き続き実行できます。
このシナリオ例では、モデルをトレーニングし、パフォーマンスを評価する必要があります。
手順
-
[ 新しいテストを実行] を選択します。
注:テスト中は他のフェーズは利用できません。
-
[ 新しいテストの実行を確認する] ダイアログボックスが開くので、[ OK] を選択します。
テストが開始され、[ テストが進行中です... ] ページがロードされます。
タスクの結果
テストが終了すると、[ モデルをテストして公開 (Test and publish your model )] ページが再ロードされます。[ テスト実行日 ] フィールドには、このテストの日時が反映されます。
[ 概要 ] タブには、テスト結果のグラフが表示されます。また、誤ったインテントの上位 5 つと見落とされていないインテントの上位 5 つのリストも表示されます。
[ 詳細結果] タブには、すべてのテスト発言とその予測結果が一覧表示されます。
以前のテスト結果を表示するには、[テスト ]をクリックしてモデルを公開するか、 .
次のタスク
結果を使用して、モデルのコンテンツを編集および改善します。満足のいく結果が得られたら、モデルを公開して、 仮想エージェント などの利用アプリケーションで使用できるようにします。