---
sourceDocument: Xanadu で AI を有効にする
sourceDocumentLink: https://servicenow-prod.fluidtopics.net/r/ja-JP/xanadu/intelligent-experiences

 Release :

    - xanadu

ft:locale :

    - ja-JP

ft:publication_title :

    - Xanadu で AI を有効にする

ft:clusterId :

    - platai

bundleId :

    - platai

workflow :

    - Platform


---

# テストセットの作成と管理

# テストセットの作成と管理 {#ariaid-title1}

* リリースバージョン: Xanadu
* 
* 更新日 2024年08月01日
* 
* ![](https://www.servicenow.com/docs/portal-asset/ico-clock) 所要時間：5分

NLUモデルのデフォルトのテストセットを使用して、モデルのパフォーマンスと精度をテストします。NLU ワークベンチ内でコンテンツをビルドまたは更新することで、テストセットを経時的に管理します。
注:  
モデルをテストするには、 ServiceNow® Store アプリケーション NLU ワークベンチ - 拡張機能 (Advanced Features) をインストールします。詳細については、「[NLU ワークベンチのインストール:拡張機能](https://servicenow-prod.fluidtopics.net/aro6IRM4h0Z4504q457OJA "admin ロールを持っている場合は、 NLU ワークベンチ:拡張機能型 アプリケーション (com.snc.nlu.workbench.advanced) をインストールできます。")」を参照してください。
仮想エージェントまたはAI 検索用のNLUモデルを作成すると、デフォルトのテストセットが作成され、モデルに関連付けられます。デフォルトのテストセットを使用して、モデルのパフォーマンスを評価できます。最初はテストセットは空で、コンテンツを入力する準備ができています。

## デフォルトのテストセットにアクセスする {#nlu-test-set-creation-management__section_qyl_v5r_dwb}

次のいずれかの方法で、デフォルトのテストセットにアクセスします。

* 移動先 すべてNLU ワークベンチモデル. モデルのアプリケーションのタブを選択し、リストからモデルの名前を選択します。モデルの概要ページで、 \[ Build and Train your model (モデルの構築とトレーニング )\] カードを見つけ、その \[ View phase (フェーズを表示 )\] ボタンを選択します。次に、 \[ テストセット \] タブを選択します。
* 移動先 すべてNLU ワークベンチモデル. モデルのアプリケーションのタブを選択し、リストからモデルの名前を選択します。モデルの概要ページで、 \[ テスト カバレッジ \] タイルを選択します。
* 移動先 すべてマルチモデルバッチテストテストセット タブに戻りますモデルの名前を見つけます。デフォルトのテストセットには 「デフォルト」というラベルが付けられます。
{#nlu-test-set-creation-management__ul_vnh_drr_dwb}

## デフォルトのテストセットにコンテンツを追加する {#nlu-test-set-creation-management__section_ccp_1vr_dwb}

発話と想定されるインテントを追加して、時間の経過とともにテストセットをビルドおよび管理します。次の方法で、デフォルトのテストセットにコンテンツを追加できます。

* テスト発言と想定されるインテントを手動で追加します。モデルの概要ページから、 モデルの構築とトレーニングテストセット タブに戻ります\[ Type a test utterance here (テスト発言をここに入力 )\] フィールドに入力し、適切なインテントを選択して、\[ Add (追加 )\] ボタンを選択します。

  これらのテスト発言には、 手動のソースが割り当てられます。
* テスト発言と想定されるインテントを CSV ファイルまたは他のモデルからインポートします。デフォルトのテストセットにコンテンツをインポートするには、モデルの概要ページから モデルの構築とトレーニングテストセット タブに戻ります\[ テスト発言をインポート\] を選択します。

  インポートされたテスト発言には 、手動のソースが割り当てられます。
* 専門家フィードバックループ機能を使用すると、 仮想エージェント チャットログから実際のユーザーの発言をテストセットに追加できます。

  これらのテスト発言には、 専門家フィードバックのソースが割り当てられます。詳細については、「[NLU 専門家フィードバックループ](https://servicenow-prod.fluidtopics.net/ki0W1MaBDuT16ZeB4fQTgA "仮想エージェントチャットログの発話に関するフィードバックを提供して、システムが継続的に学習し、ユーザー入力をより適切に予測できるようにします。")」を参照してください。
{#nlu-test-set-creation-management__ul_usv_2gh_vvb}

## テスト範囲 {#nlu-test-set-creation-management__section_drd_pwr_dwb}

テスト範囲スコアは、デフォルトのテストセットにテスト発言があるモデルの有効なインテントの割合です。モデルをテストする前に、少なくとも 60% のカバレッジがあることを確認してください。テスト範囲スコアが高いほど、パフォーマンステストの結果はより正確になります。

バッチテスト中にシステムが最適な信頼度しきい値を提供するには、テスト範囲が 60 % 以上で、インテントごとに少なくとも 5 つのテスト発言がある必要があります。信頼度しきい値の詳細については、「 [NLU モデル設定](https://servicenow-prod.fluidtopics.net/7OAEVC1vHsN6cR_4IR85zw "モデルの概要の [設定] ページで、NLUモデルの名前、説明、または信頼度しきい値を変更します。")」を参照してください。

モデルのテスト発話の約 10% を「関連なし」、つまりインテントが関連付けられていないとマークすることを目指します。これは、インテントを予測すべきではない無関係な発話をモデルがどのように処理するかを評価するのに役立ちます。無関係な発話の詳細については、「 [NLU での無関係の検出](https://servicenow-prod.fluidtopics.net/MlAQkrhUrsnn56G~JB1f6Q "無関係の検出により、 仮想エージェント チャットに集中し続けます。無関係の検出機能を使用して NLU モデルをトレーニングし、関連性のない発言の予測を回避します。")」を参照してください。

## テストセットを使用する {#nlu-test-set-creation-management__section_dn1_jlt_dwb}

モデルのテストと発行フェーズの既定のテスト セットを使用するには、「[モデルをテストおよび公開](https://servicenow-prod.fluidtopics.net/GDnB848~IHUc5hmL5_kOuw "NLUモデルのパフォーマンスを評価して、改善が必要な領域を特定します。次に、モデルを公開して、 仮想エージェントなどの他のアプリケーションで使用できるようにします。")」を参照してください。

マルチモデルバッチテストでテストセットを使用するには、「 [マルチモデルバッチテスト](https://servicenow-prod.fluidtopics.net/VVwm_k27w1tEVCA6T1mkqQ "大規模な発話セットに対して複数 自然言語理解 (NLU) (NLU) モデルをテストして、モデルのパフォーマンスを評価します。テストセットを追加し、複数のモデルをテストして、テスト結果を確認します。")」を参照してください。

## デフォルトのテストセットの特性 {#nlu-test-set-creation-management__section_zyj_2zr_dwb}

インスタンスがアップグレードされると、まだ存在しない既存のモデルに対してデフォルトのテストセットが作成されます。

\[このモデルを複製\] を使用してモデルをコピーすると、元の既定のテスト セットが新しいモデルにコピーされます。詳細については、「[NLU モデルの複製](https://servicenow-prod.fluidtopics.net/UdpwhAofkL_TQocBrfKRng "既存の 自然言語理解 (NLU) (NLU) モデルを複製して新しいモデルを作成します。モデルを複製すると、既定のテスト セットを含む元のモデルの設定と内容がコピーされます。")」を参照してください。

テストセット内の発言は、トレーニングセット内の発言と同じであってはなりません。

デフォルトのテストセットをモデルとは別に削除することはできません。

テストセットの発話は、そのモデルと同じ言語である必要があります。

テストセットは、 仮想エージェント モデルまたは AI 検索 モデルで使用できます。

## デフォルトのテストセットのダウンロードまたは移動 {#nlu-test-set-creation-management__section_pgc_5zr_dwb}

デフォルトのテストセットは、次のようにダウンロードまたは移動できます。

* デフォルトのテストセットは、CSV 形式で個別にダウンロードできます。テストセットをダウンロードするには、モデルの概要ページから モデルの構築とトレーニングテストセット タブに戻ります\[ テストセットのダウンロード\] を選択します。  
  注:  
  \[テストセットをダウンロード\] からダウンロードしたテストセットには、テスト発言とその想定されるインテントが含まれていますが、ソースは含まれていません。
* デフォルトのテストセットは、更新セットと一緒に移動できます。NLUモデルを更新セットに追加すると、テスト発言、想定されるインテント、ソースを含むデフォルトのテストセットが追加されます。詳細については、「[更新セットへの NLU モデルの追加](https://servicenow-prod.fluidtopics.net/aazCIrh1exlxvTCmFBtEWw "更新セットを使用して、 自然言語理解 (NLU) (NLU) モデルをあるインスタンスから別のインスタンスに移動します。更新セットには、モデルがターゲットインスタンスで機能するために必要なすべてのレコードが含まれています。")」を参照してください。
* \[既存のすべてのモデル\] テーブルで \[CSV としてモデルをエクスポート\] 機能を使用する場合、デフォルトのテストセットは含まれません。詳細については、「[NLU モデルのエクスポート](https://servicenow-prod.fluidtopics.net/U28ZN8LpFjHYFzJ4nJu5ig "自然言語理解 (NLU) (NLU) モデルをエクスポートして、インテントと発話の CSV ファイルを作成します。その後、CSV ファイルを使用して編集、共有、インポートできます。")」を参照してください。
{#nlu-test-set-creation-management__ul_upw_b1s_dwb}