マルチモデルバッチテストの実行
テストセットに対して複数の 自然言語理解 (NLU) (NLU) モデルをテストします。モデルの品質を評価し、インテント予測を改善するために改良します。
始める前に
- NLU ワークベンチ Core プラグイン、NLU ワークベンチプラグイン、 NLU ワークベンチ - Advanced Features プラグイン、および予測インテリジェンスプラグインがすべてインストールされ、アクティブ化されていることを確認します。
- または AI 検索のトレーニング済みモデル仮想エージェントが 1 つ以上あります。
- 想定されるインテントを持つテスト発言を含むテストセットを用意します。「テストセットの作成」または「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_admin または admin モデルにアサインされると、nlu_editorロールはテストを実行し、そのモデルのテスト発言を変更できます。
このタスクについて
マルチモデルバッチテストでは、モデルのデフォルトのテストセットではないテストセットを使用できます。
また、 マルチモデルバッチテストを使用して、一度に最大10個のモデルをテストできます。ただし、モデル数が少ないテストはより迅速に実行されます。
複数のモデルをテストする場合、テストセットはすべてのモデルの合計インテントの少なくとも25%をカバーする必要があります。モデルが または AI 検索で仮想エージェント遭遇する可能性のある発話を含むテストセットを使用します。
注:
テストセット内の想定されるインテントがモデルのどのインテントとも一致しない場合、その想定されるインテントとそのテスト発言はスキップされます。カウントされず、テスト結果に表示されません。
既定のテスト セットに対して 1 つのモデルをテストするには、モデルの概要ページで [モデルのテストと公開 ] フェーズを使用します。詳細については、「モデルをテストおよび公開」を参照してください。
手順
-
[ 新しいバッチテストを実行 ] ウィンドウで、リストからモデルを選択します。
-
[実行] をクリックします。
新しいテストが [ テスト結果 ] リストに [ テスト中... ステータス。
次のタスク
バッチテストが終了すると、そのステータスが 「完了」に変わります。テストセットの名前をクリックすると、テスト結果を表示できます。
結果を使用してモデルを調整および改善します。次に、テストを再度実行してパフォーマンスを評価します。
バッチテストは、信頼度しきい値の推奨事項に影響を与える可能性があります。詳細については、「NLU モデルの設定」を参照してください。