モデルをテストおよび公開
NLUモデルのパフォーマンスを評価して、改善が必要な領域を特定します。次に、モデルを公開して、 仮想エージェント などの他のアプリケーションで使用できるようにします。
サマリー使用法
仮想エージェントモデルまたはAI 検索モデルをデフォルトのテストセットに対してテストし、モデルの応答を確認します。テスト結果は、モデルの改善に使用できる情報を提供します。
モデルをテストするには、次に移動します . モデルのアプリケーションのタブを選択し、モデルの名前を選択します。[モデルのテストと公開 (Test and publish your model)] カードで、[フェーズを表示] を選択します。
モデルのテストと公開の概要
[ モデルのテストと公開 ] フェーズは、デフォルトで [ 概要 ] ページで開きます。[ 新しいテストを実行 ] ボタンと [ モデルを公開 ] ボタンはここにあります。
概要 は、テスト結果を要約した棒グラフとともに、以前のテスト実行に関する情報を提供します。
以前のテスト実行がある場合は、[ テスト実行日 ] リストから選択して表示できます。
テスト結果テーブルにドリルダウンするには、[ 詳細な結果] タブを選択します。各テスト発言は、その予測とともに [詳細結果] に一覧表示されます。
テスト結果について理解する
テスト結果は、モデルがテストセット内の発言にどのように応答したかを示します。
| パーセンテージ | 説明 |
|---|---|
| 正確 | モデルがインテントを正しく予測した発言の割合。 モデルが「 関連なし」とマークされた発言のインテントがないと予測した場合、その結果は「正解」としてカウントされます。 |
| 複数の中で正しい | 複数のインテントが予測された発言の場合。 モデルがインテントを正しく予測したが、発言に属していないインテントも予測した発言の割合。 |
| 欠落 | 予期されたインテントがあったにもかかわらず、モデルがインテントを予測しなかった発言の割合。 |
| 不正確 | モデルが正しくないインテントを予測した発言の割合。 |
テストは、モデルの信頼度しきい値に影響を与える可能性があります。信頼度しきい値は、発言のインテントを予測するためにモデルがどの程度信頼する必要があるかを決定します。信頼性しきい値の詳細については、「 NLU モデル設定」を参照してください。
インテントが予測されていない発言については、「 NLU での無関係の検出」を参照してください。
モデルを公開
モデルの公開の詳細については、「 NLUモデルを公開」を参照してください。
マルチモデルバッチテスト
[モデルをテストして公開] フェーズでは、デフォルトのテストセットに対してモデルをテストします。マルチモデルバッチテストでは、他のテストセットに対してテストしたり、複数のモデルを一度にテストしたり、テスト結果を確認したりすることができます。マルチモデルバッチテストを使用するには、 .
詳細については、「マルチモデルバッチテスト」を参照してください。
テストのプロセスの詳細については、「 モデルをテスト」を参照してください。