マルチモデルバッチテストの実行
複数の 自然言語理解 (NLU) (NLU) モデルをテストセットに対してテストします。モデルの品質を評価し、インテント予測を改善するためにモデルを改善します。
始める前に
- NLU ワークベンチ - Core プラグイン、NLU ワークベンチ プラグイン、NLU ワークベンチ - Advanced Features プラグイン、および 予測インテリジェンス プラグインがすべてインストールされ、アクティブ化されていることを確認します。
- 仮想エージェント または AI 検索 に対してトレーニング済みモデルを 1 つ以上用意します。
- 想定されるインテントを持つテスト発言を含むテストセットを用意します。「テストセットの作成」または「テストセットの作成と管理」を参照してください。
- 必要なロール:nlu_admin または admin モデルにアサインされると、nlu_editor ロールはそのモデルのテストを実行し、テスト発言を変更できます。
このタスクについて
マルチモデルバッチテストでは、モデルのデフォルトテストセットではないテストセットを使用できます。
また、 マルチモデルバッチテストを使用して、一度に最大 10 個のモデルをテストできます。ただし、モデル数が少ないテストの方が速く実行されます。
複数のモデルをテストする場合、テストセットはすべてのモデルの合計インテントの少なくとも 25% をカバーする必要があります。モデルが 仮想エージェント または AI 検索で遭遇する可能性がある発言を含むテストセットを使用します。
注:
テストセット内の想定されるインテントがモデルのどのインテントとも一致しない場合、その想定されるインテントとそのテスト発言はスキップされます。それらはカウントされず、テスト結果には表示されません。
デフォルトのテストセットに対して単一のモデルをテストするには、モデルの概要ページでモデル のテストと公開 フェーズを使用します。詳細については、「モデルをテストおよび公開」を参照してください。
手順
-
[ 新しいバッチテストを実行 ] ウィンドウで、リストからモデルを選択します。
-
[実行] をクリックします。
新しいテストが [ テスト結果 ] リストに [テスト中 ... ステータス。
次のタスク
バッチテストが終了すると、[ステータス] が [完了] に変わります。テストセットの名前をクリックすると、テスト結果を表示できます。
その結果を使用して、モデルを調整し、改善します。次に、テストを再度実行してパフォーマンスを評価します。
バッチテストは、信頼性しきい値の推奨事項に影響を与える可能性があります。詳細については、「NLU モデル設定」を参照してください。