テストセットの作成と管理

  • リリースバージョン: Australia
  • 更新日 2026年03月12日
  • 所要時間：5分

    • NLUモデルのデフォルトのテストセットを使用して、モデルのパフォーマンスと精度をテストします。NLU ワークベンチでテストセットのコンテンツをビルドまたは更新することで、テストセットを経時的に管理します。

    注:
    モデルをテストするには、 ServiceNow® Store アプリケーション NLU ワークベンチ - 拡張機能をインストールします。詳細については、「NLU ワークベンチをインストールします:拡張機能型」を参照してください。
    仮想エージェントまたはAI 検索のNLUモデルを作成すると、デフォルトのテストセットが作成され、モデルに関連付けられます。デフォルトのテストセットを使用して、モデルのパフォーマンスを評価できます。最初はテストセットは空で、コンテンツを入力する準備ができています。

    デフォルトのテストセットにアクセスする

    次のいずれかの方法で、デフォルトのテストセットにアクセスします。
    • 移動先 すべて > NLU ワークベンチ > モデル. モデルのアプリケーションのタブを選択し、次にリストからモデルの名前を選択します。モデルの概要ページで、[ モデルのビルドとトレーニング ] カードを見つけ、その [ フェーズを表示 ] ボタンを選択します。次に、[ Test set (テストセット )] タブを選択します。NLU モデルの概要ページで、[テストセット] タブが強調表示されます。
    • 移動先 すべて > NLU ワークベンチ > モデル. モデルのアプリケーションのタブを選択し、次にリストからモデルの名前を選択します。モデルの概要ページで、[ テスト範囲 ] タイルを選択します。モデルの概要ページで、[テスト範囲] タイルが強調表示されます。
    • 移動先 すべて > マルチモデルバッチテスト > テストセット 確認してください。モデルの名前を見つけます。デフォルトのテストセットには [デフォルト] というラベルが付いています。マルチモデルバッチテストのテストセットテーブルのエントリ。

    デフォルトのテストセットにコンテンツを追加する

    発言とその想定されるインテントを追加して、テストセットを経時的にビルドおよび管理します。次の方法で、デフォルトのテストセットにコンテンツを追加できます。

    • テスト発言とその想定されるインテントを手動で追加します。モデルの概要ページから、次の場所に移動 モデルを構築してトレーニングする > テストセット 確認してください。[ ここにテスト発言を入力] フィールドに入力内容を入力し、適切なインテントを選択して、[ 追加 ] ボタンを選択します。

      これらのテスト発言には、 手動のソースが割り当てられます。

    • CSV ファイルまたは他のモデルから、テスト発言とその想定されるインテントをインポートします。デフォルトのテストセットにコンテンツをインポートするには、モデルの概要ページから次の場所に移動します モデルを構築してトレーニングする > テストセット 確認してください。[テスト発言をインポート] を選択します。

      インポートされたテスト発言には、 マニュアルのソースが割り当てられます。

    • 専門家フィードバックループ機能を使用すると、実際のユーザーの発言を 仮想エージェント チャットログからテストセットに追加できます。

      これらのテスト発言には、 専門家フィードバックのソースがアサインされます。詳細については、「NLU 専門家フィードバックループ」を参照してください。

    テスト範囲

    テスト範囲スコアは、デフォルトのテストセットにテスト発言があるモデルの有効なインテントの割合です。モデルをテストする前に、少なくとも 60% の範囲であることを確認してください。テストカバレッジスコアが高いほど、パフォーマンステスト結果の精度が高くなります。

    バッチテスト中にシステムが最適な信頼度しきい値を提供するには、テスト範囲が 60% 以上で、インテントごとに少なくとも 5 つのテスト発言がある必要があります。信頼性しきい値の詳細については、「 NLU モデル設定」を参照してください。

    モデルのテスト発言の約 10% を「関連なし」、つまり関連付けられているインテントがないとマークすることを目指します。これは、インテントが予測されるべきではない無関係な発言をモデルがどのように処理するかを評価するのに役立ちます。無関係な発言の詳細については、「 NLU での無関係の検出」を参照してください。

    テストセットの使用

    モデルのテストと公開フェーズのデフォルトのテストセットを使用するには、「モデルをテストおよび公開」を参照してください。

    マルチモデルバッチテストでテストセットを使用するには、「 マルチモデルバッチテスト」を参照してください。

    デフォルトのテストセットの特性

    インスタンスがアップグレードされると、まだない既存のモデルに対してデフォルトのテストセットが作成されます。

    [ このモデルを複製] を使用してモデルをコピーすると、元のテストセットのデフォルトのテストセットが新しいモデルにコピーされます。詳細については、「NLU モデルの複製」を参照してください。

    テストセット内の発言は、トレーニングセット内の発言と同じであってはなりません。

    デフォルトのテストセットをモデルとは別に削除することはできません。

    テストセットの発言は、モデルと同じ言語である必要があります。

    テストセットは、 仮想エージェント モデルまたは AI 検索 モデルで使用できます。

    デフォルトのテストセットをダウンロードまたは移動しています

    デフォルトのテストセットは、次のようにダウンロードまたは移動できます。

    • デフォルトのテストセットは、CSV 形式で個別にダウンロードできます。テストセットをダウンロードするには、モデルの概要ページから次の場所に移動します モデルを構築してトレーニングする > テストセット 確認してください。[ テストセットをダウンロード] を選択します。
      注:
      [ テストセットをダウンロード] からダウンロードされるテストセットには、テスト発言とその想定されるインテントが含まれていますが、ソースは含まれていません。
    • デフォルトのテストセットは、更新セットとともに移動できます。更新セットに NLU モデルを追加すると、テスト発言、想定されるインテント、およびソースを含むデフォルトのテストセットが追加されます。詳細については、「更新セットへの NLU モデルの追加」を参照してください。
    • [既存のすべてのモデル] テーブルの [モデルを CSV としてエクスポート] 機能を使用する場合、デフォルトのテストセットは含まれません。詳細については、「NLU モデルのエクスポート」を参照してください。