デフォルトのテストセットにアクセスする

デフォルトのテストセットにコンテンツを追加する

発言と想定されるインテントを追加して、時間の経過とともにテストセットを構築および管理します。次の方法を使用して、デフォルトのテストセットにコンテンツを追加できます。

• テスト発言と想定されるインテントを手動で追加します。モデルの概要ページから、 モデルの構築とトレーニング > テストセット タブに戻ります[ Type a test utterance here](ここにテスト発言を入力 )フィールドに入力し、適切なインテントを選択して、[Add]( 追加 )ボタンを選択します。

  これらのテスト発言には 、手動のソースが割り当てられます。

• テスト発言と想定されるインテントを CSV ファイルまたは他のモデルからインポートします。コンテンツをデフォルトのテストセットにインポートするには、モデルの概要ページから モデルの構築とトレーニング > テストセット タブに戻ります[ テスト発言のインポート] を選択します。

  インポートされたテスト発言には 、手動のソースが割り当てられます。

• 専門家フィードバックループ機能を使用すると、チャットログからテストセットに 仮想エージェント 実際のユーザーの発言を追加できます。

  これらのテスト発言には、 専門家フィードバックのソースが割り当てられます。詳細については、「NLU 専門家フィードバックループ」を参照してください。

テスト範囲

テスト範囲スコアは、デフォルトのテストセットにテスト発言があるモデルの有効なインテントの割合です。モデルをテストする前に、少なくとも 60% のカバレッジがあることを確認してください。テスト範囲スコアが高いほど、パフォーマンステストの結果は正確になります。

バッチテスト中にシステムが最適な信頼度しきい値を提供するには、テスト範囲が 60% 以上で、インテントごとに少なくとも 5 つのテスト発言がある必要があります。信頼度しきい値の詳細については、を参照してください NLU モデルの設定。

モデルのテスト発話の約 10% を「関連なし」、つまりインテントが関連付けられていないとマークすることを目指します。これは、インテントを予測する必要がない無関係な発話をモデルがどのように処理するかを評価するのに役立ちます。無関係な発言の詳細については、を参照してください NLU での無関係の検出。

テストセットを使用する

モデルのテストおよび公開フェーズのデフォルトのテストセットを使用するには、「」を参照してくださいモデルをテストおよび公開。

マルチモデルバッチテストでテストセットを使用するには、「」を参照してください マルチモデルバッチテスト。

デフォルトのテストセットの特性

インスタンスがアップグレードされると、まだテストセットがない既存のモデルに対してデフォルトのテストセットが作成されます。

[このモデルを複製] を使用してモデルをコピーすると、元の既定のテスト セットが新しいモデルにコピーされます。詳細については、「NLU モデルの複製」を参照してください。

テストセットの発話は、トレーニングセットの発話と同じであってはなりません。

デフォルトのテストセットは、モデルとは別に削除することはできません。

テストセットの発話は、モデルと同じ言語である必要があります。

テストセットは、モデルAI 検索で使用できます仮想エージェント。

デフォルトのテストセットのダウンロードまたは移動

デフォルトのテストセットは、次のようにダウンロードまたは移動できます。

• デフォルトのテストセットは、CSV形式で個別にダウンロードできます。テストセットをダウンロードするには、モデルの概要ページから モデルの構築とトレーニング > テストセット タブに戻ります[ テスト セットのダウンロード] を選択します。
  注:

  「テストセットをダウンロード」からダウンロードしたテストセットには、テスト発言とその想定されるインテントが含まれていますが、ソースは含まれていません。
• デフォルトのテストセットは、更新セットと一緒に移動できます。更新セットにモデルを追加する NLU と、テスト発言、想定されるインテント、ソースを含むデフォルトのテストセットが追加されます。詳細については、「更新セットへの NLU モデルの追加」を参照してください。
• [既存のすべてのモデル] テーブルで [CSV としてモデルをエクスポート] 機能を使用する場合、デフォルトのテストセットは含まれません。詳細については、「NLU モデルのエクスポート」を参照してください。