--- sourceDocument: Xanadu で AI を有効にする sourceDocumentLink: https://servicenow-prod.fluidtopics.net/r/ja-JP/xanadu/intelligent-experiences Release : - xanadu ft:locale : - ja-JP ft:publication_title : - Xanadu で AI を有効にする ft:clusterId : - platai bundleId : - platai workflow : - Platform --- # マルチモデルバッチテスト # マルチモデルバッチテスト {#ariaid-title1} * リリースバージョン: Xanadu * * 更新日 2024年08月01日 * * ![](https://www.servicenow.com/docs/portal-asset/ico-clock) 所要時間：3分 大規模な発話セットに対して複数 自然言語理解 (NLU) (NLU) モデルをテストして、モデルのパフォーマンスを評価します。テストセットを追加し、複数のモデルをテストして、テスト結果を確認します。 ## 使用方法の概要 {#batch-testing-nlu__section_fds_blv_vnb} マルチモデルバッチテストを使用して、発話とその想定されるインテントで構成されるテストセットを作成してアップロードします。その後、NLU モデルに対してテストを実行できます。 マルチモデルバッチテストは、サポートされているすべての NLU 言語のモデルで機能します。「[NLU の言語サポート](https://servicenow-prod.fluidtopics.net/~cErIupMPU1sSgqH3LbvTg "NLU ワークベンチ アプリケーションは、仮想エージェント などの他のアプリケーションで使用するために、さまざまな言語でNLUモデルを作成するためのサポートを提供します。")」を参照してください。 ## インストール {#batch-testing-nlu__section_kxx_jjd_lpb} マルチモデルバッチテストは、ServiceNow® Storeで利用可能な NLU ワークベンチ - Advanced Features アプリの一部です。 マルチモデルバッチテストを使用するには、インスタンスで NLU ワークベンチ - 拡張機能型 (com.snc.nlu.workbench.advanced) プラグインがアクティブになっていることを確認してください。詳細については、「[NLU ワークベンチの](https://servicenow-prod.fluidtopics.net/mjka40YOsJky5b1Q2PAb~Q "NLU ワークベンチ をアクティブ化するには、次のプラグインをアクティブ化します。")[NLU ワークベンチのインストール:拡張機能](https://servicenow-prod.fluidtopics.net/aro6IRM4h0Z4504q457OJA "admin ロールを持っている場合は、 NLU ワークベンチ:拡張機能型 アプリケーション (com.snc.nlu.workbench.advanced) をインストールできます。")とアクティブ化」を参照してください。 ## テストセット {#batch-testing-nlu__section_npp_clv_vnb} テストセット は、発話と一致したインテントのリストです。CSV または XLSX (Excel ワークブック) ファイルのテーブルを使用して、テスト セットを作成します。テーブルには 2 つの列を含める必要があります。1 つは発言用、もう 1 つは想定されるインテント用です。テストセットには最大 10,000 行を含めることができます。 NLU モデルのテストを最大限に活用するには、モデルがユーザーから遭遇する可能性のある発話をテストセットに含める必要があります。テスト発言は、テストするモデルと同じ言語である必要があります。テストセットには、想定されるインテントのない発話も含める必要があります。想定されるインテントのない発話を含めると、無関係であり、インテントを予測すべきではない発話を検出するモデルの能力を評価するのに役立ちます。 これらのタイプの発話を含めることで、テストでは、インテントを認識してユーザーに応答するモデルの能力をより適切に評価できます。テストセットがモデルのインテントの少なくとも60%をカバーしていない場合でも、テストを実行できますが、推奨されるしきい値が最適ではない可能性があります。 注: 想定されるインテントがモデルのどのインテントとも一致しない場合、特定のテスト発言はテスト中にスキップされます。 テストセットを作成するには、「 [テストセットの作成](https://servicenow-prod.fluidtopics.net/kevxjJ6HBOZBlQoFbny_jQ "NLUテストセットを作成または追加するには、正しいインテントに一致したテスト発言のファイルをアップロードします。テストセットを使用して、モデルのパフォーマンスを評価します。")」を参照してください。 テストセットが用意できたら、トレーニング済み NLU モデルをテストできます。テストを開始するには、「 [マルチモデルバッチテストの実行](https://servicenow-prod.fluidtopics.net/iSX18IMFYUjMPHfQEaQTsw "テストセットに対して複数の 自然言語理解 (NLU) (NLU) モデルをテストします。モデルの品質を評価し、インテント予測を改善するために改良します。")」を参照してください。 テストを実行すると、結果が \[テスト結果 \] ページに表示されます。 ## テスト結果 {#batch-testing-nlu__section_syg_xct_lpb} テスト結果ページには、完了したテストと進行中のテストが一覧表示されます。結果ページには、テストされたモデル、発話の数、予測率が一目でわかります。 テスト結果の詳細を表示するには、テストセットの名前をクリックします。 \[ 概要 \] ページには、結果に関する概要情報が表示され、予測の内訳を示すグラフィックが含まれています。 注意が必要なインテント (現在のモデル) には、欠落しているインテントと正しくないインテントの上位 5 つが表示されます。インテント名をクリックすると、誤って予測されたテスト発言にドリルダウンできます。この情報を使用してモデルを改善します。 \[詳細な結果\] タブには、テストされた各発話に関する情報が一覧表示されます。ここから、各発言のモデルごとの予測結果と信頼度を確認できます。検索バーを使用するか、フィルターツールと列ヘッダーを操作して、結果をフィルタリングします。 \[ エクスポート\] をクリックして、テスト結果を CSV ファイルにエクスポートすることもできます。このファイルには、詳細な結果ページと同じ列が含まれています。 テスト結果を理解する方法の詳細については、「 [モデルをテストおよび公開](https://servicenow-prod.fluidtopics.net/GDnB848~IHUc5hmL5_kOuw "NLUモデルのパフォーマンスを評価して、改善が必要な領域を特定します。次に、モデルを公開して、 仮想エージェントなどの他のアプリケーションで使用できるようにします。")」を参照してください。 * **[テストセットの作成](https://servicenow-prod.fluidtopics.net/kevxjJ6HBOZBlQoFbny_jQ)** NLUテストセットを作成または追加するには、正しいインテントに一致したテスト発言のファイルをアップロードします。テストセットを使用して、モデルのパフォーマンスを評価します。 * **[マルチモデルバッチテストの実行](https://servicenow-prod.fluidtopics.net/iSX18IMFYUjMPHfQEaQTsw)** テストセットに対して複数の 自然言語理解 (NLU) (NLU) モデルをテストします。モデルの品質を評価し、インテント予測を改善するために改良します。