デフォルトのテストセットへのアクセス

デフォルトのテストセットにコンテンツを追加する

発言とその想定されるインテントを追加して、時間の経過とともにテストセットをビルドおよび管理します。次の方法で、デフォルトのテストセットにコンテンツを追加できます。

• テスト発言とその想定されるインテントを手動で追加します。モデルの概要ページから、 モデルの構築とトレーニング > テストセット 学習します。[ここに テスト発言を入力 ] フィールドに入力し、適切なインテントを選択して、[ 追加 ] ボタンを選択します。

  これらのテスト発言には、 手動のソースが割り当てられます。

• テスト発言とその想定されるインテントを CSV ファイルまたは他のモデルからインポートします。デフォルトのテストセットにコンテンツをインポートするには、モデルの概要ページから モデルの構築とトレーニング > テストセット 学習します。[ テスト発言をインポート] を選択します。

  インポートされたテスト発言には、 手動のソースが割り当てられます。

• 専門家フィードバックループ機能を使用すると、 仮想エージェント チャットログから実際のユーザーの発言をテストセットに追加できます。

  これらのテスト発言には 、専門家フィードバックのソースが割り当てられます。詳細については、「NLU 専門家フィードバックループ」を参照してください。

テスト範囲

テスト範囲スコアは、デフォルトのテストセットにテスト発言があるモデルの有効なインテントの割合です。モデルをテストする前に、少なくとも 60% のカバレッジがあることを確認してください。テスト範囲スコアが高いほど、パフォーマンステスト結果の精度が高くなります。

バッチテスト中にシステムが最適な信頼度しきい値を提供するには、テストカバレッジが 60% 以上で、インテントごとに少なくとも 5 つのテスト発言が必要です。信頼度しきい値の詳細については、「 NLU モデル設定」を参照してください。

モデルのテスト発言の約 10% を「関連なし」、つまり関連付けられたインテントがないとマークすることを目指します。これは、予測されるべきではないインテントを持つべきではない無関係な発言をモデルがどのように処理するかを評価するのに役立ちます。無関係な発言の詳細については、「 NLU での無関係の検出」を参照してください。

テストセットを使用

「モデルのテストと公開」フェーズのデフォルトのテストセットを使用するには、「モデルをテストおよび公開」を参照してください。

マルチモデルバッチテストでテストセットを使用するには、「 マルチモデルバッチテスト」を参照してください。

デフォルトのテストセットの特性

インスタンスをアップグレードすると、まだテストセットがない既存のモデルに対してデフォルトのテストセットが作成されます。

[このモデルを複製] を使用してモデルをコピーすると、元のデフォルトのテストセットが新しいモデルにコピーされます。詳細については、「NLU モデルの複製」を参照してください。

テストセット内の発言は、トレーニングセット内の発言と同じにすることはできません。

デフォルトのテストセットをモデルとは別に削除することはできません。

テストセットの発言は、モデルと同じ言語である必要があります。

テストセットは、 仮想エージェント モデルまたは AI 検索 モデルで使用できます。

デフォルトのテストセットをダウンロードまたは移動する

デフォルトのテストセットは、次のようにダウンロードまたは移動できます。

• デフォルトのテストセットは、CSV 形式で個別にダウンロードできます。テストセットをダウンロードするには、モデルの概要ページから モデルの構築とトレーニング > テストセット 学習します。[ テストセットのダウンロード] を選択します。
  注:

  [ダウンロードテストセット] からダウンロードされるテストセットには、テスト発言とその想定されるインテントが含まれていますが、ソースは含まれていません。
• デフォルトのテストセットは、更新セットとともに移動できます。NLUモデルを更新セットに追加すると、テスト発言、予想されるインテント、ソースなど、デフォルトのテストセットが追加されます。詳細については、「更新セットへの NLU モデルの追加」を参照してください。
• [既存のすべてのモデル] テーブルで [モデルを CSV としてエクスポート] 機能を使用する場合、デフォルトのテストセットは含まれません。詳細については、「NLU モデルのエクスポート」を参照してください。