モデルをテストおよび公開
NLUモデルのパフォーマンスを評価して、改善が必要な領域を特定します。次に、モデルを公開して、 仮想エージェントなどの他のアプリケーションで使用できるようにします。
使用方法の概要
仮想エージェントまたはAI 検索モデルをデフォルトのテストセットに対してテストし、モデルがどのように応答するかを確認します。テスト結果は、モデルを改善するために使用できる情報を提供します。
モデルをテストするには、次の場所に移動します: . モデルのアプリケーションのタブを選択し、モデルの名前を選択します。[モデルをテストして公開する] カードで、[フェーズを表示] を選択します。
モデルのテストと公開の概要
デフォルトでは、[概要] ページで [モデルのテストと公開] フェーズが開きます。[ 新しいテストを実行 ] ボタンと [ モデルを公開 ] ボタンはここにあります。
[概要 ] では、以前のテスト実行に関する情報が、テスト結果を棒グラフでまとめたものになります。
それ以前のテスト実行がある場合は、[ テスト実行日 ] リストから選択して表示できます。
テスト結果テーブルにドリルダウンするには、[ 詳細な結果 ] タブを選択します。各テスト発言は、その予測とともに [詳細な結果] に一覧表示されます。
テスト結果について
テスト結果は、モデルがテストセットの発言にどのように応答したかを示します。
| パーセンテージ | 説明 |
|---|---|
| 正解 | モデルがインテントを正しく予測した発言の割合。 [関連なし] とマークされた発言に対してモデルが予測するインテントがない場合、その結果は [正解] としてカウントされます。 |
| 複数の中で正しい | 複数のインテントが予測された発言の場合。 モデルがインテントを正しく予測した発話の割合ですが、発言に属していないインテントも予測しました。 |
| 欠落 | 予期されたインテントがあったにもかかわらず、モデルがインテントを予測しなかった発言の割合。 |
| 正しくありません | モデルが正しくないインテントを予測した発言の割合。 |
テストは、モデルの信頼度しきい値に影響を与える可能性があります。信頼度しきい値は、発言のインテントを予測するためにモデルが必要とする信頼度を決定します。信頼性しきい値の詳細については、「 NLU モデル設定」を参照してください。
予測されるべきではない発言の詳細については、「 NLU での無関係の検出」を参照してください。
モデルを公開
モデルの公開の詳細については、「 NLUモデルの公開」を参照してください。
マルチモデルバッチテスト
モデルのテストと公開フェーズでは、デフォルトのテストセットに対してモデルをテストします。マルチモデルバッチテストを使用すると、他のテストセットに対してテストしたり、一度に複数のモデルをテストしたり、テスト結果を確認したりできます。マルチモデルバッチテストを使用するには、 .
詳細については、「マルチモデルバッチテスト」を参照してください。
テストのプロセスの詳細については、「 モデルをテスト」を参照してください。