モデルをテスト
デフォルトのテストセットに対して (NLU) モデルをテストします 自然言語理解 (NLU) 。テストは、現在のコンテンツでのモデルのパフォーマンスを判断するのに役立ちます。
始める前に
- NLU Model Builder - Core プラグイン、NLU Model Builder プラグイン、 NLU ワークベンチ - 拡張機能プラグイン、および 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します。
- AI Search 用の 仮想エージェント トレーニング済みモデルがある。詳細については、「モデルの構築とトレーニング」を参照してください。
- モデルをテストするためのテストセットを用意します。詳細については、「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_editor、nlu_admin、または admin エディターをモデルに割り当てる必要があります。
このタスクについて
テスト発言と想定されるインテントを含むデフォルトのテストセットを使用して、モデルのテストを実行します。
- テストセット内の想定されるインテントがモデル内のどのインテントにも対応しない場合、それらのインテントを持つ発話はテストに使用されません。これらはテスト結果に含まれません。
- Dialog Acts の会話途中の応答は、 で NLU ワークベンチ試行またはテストすることはできません。
- モデルが「 関連性なし」とマークされた発言に対して予測を返さない場合、その結果は 「正しい」としてカウントされます。
- テストセットがモデル内のインテントの少なくとも60%をカバーしていない場合、システムは信頼度しきい値を推奨しません。ただし、テストを実行することはできます。
このシナリオ例では、モデルをトレーニングし、パフォーマンスを評価する必要があります。
手順
-
[ 新しいテストの実行] を選択します。
注:テスト中は、他のフェーズは利用できません。
-
[新しいテストの実行の確認] ダイアログ ボックスが開くので、 [OK] を選択します。
テストが開始され、[ Testing is in progress... ] ページがロードされます。
タスクの結果
テストが終了すると、 モデルのテストと公開 ページが再読み込みされます。[ テスト実行日 ] フィールドには、このテストの日時が反映されます。
[ 概要 ] タブには、テスト結果のグラフが表示されます。また、上位 5 つの誤ったインテントと上位 5 つの見落とされたインテントのリストも表示されます。
[ 詳細な結果 ] タブには、すべてのテスト発言とその予測結果が一覧表示されます。
以前のテスト結果を表示するには、 [テストと公開] で [テスト履歴を表示] をクリックするか、 .
次のタスク
結果を使用して、モデルのコンテンツを編集および改善します。結果に満足したら、モデルを公開して、などの 仮想エージェントアプリケーションで使用できるようにします。