使用方法の概要

マルチモデルバッチテストを使用して、発言とその想定されるインテントで構成されるテストセットを作成してアップロードします。その後、NLU モデルに対してテストを実行できます。

マルチモデルバッチテストは、サポートされているすべての NLU 言語のモデルで機能します。「NLU の言語サポート」を参照してください。

インストール

マルチモデル バッチ テストは、 NLU ワークベンチ で入手できる ServiceNow® Store高度な機能アプリの一部です。

マルチモデルバッチテストを使用するには、インスタンスで - Advanced Features (com.snc.nlu.workbench.advanced) プラグインがアクティブになっていることを確認します NLU ワークベンチ 。詳細については、「NLU Workbench のアクティブ化」を参照してくださいNLU Workbench - Advanced Features のインストール。

テストセット

テストセット は、発言と一致するインテントのリストです。CSV または XLSX (Excel ワークブック) ファイルのテーブルを使用して、テストセットを作成します。テーブルには、発言用と想定されるインテント用の 2 つの列が含まれている必要があります。テストセットには、最大 10,000 行を含めることができます。

NLU モデルのテストを最大限に活用するには、モデルがユーザーから遭遇する可能性のある発言をテストセットに含める必要があります。テスト発言は、テストするモデルと同じ言語である必要があります。テストセットには、想定されるインテントのない発言も含める必要があります。想定されるインテントのない発話を含めると、無関係であり、インテントを予測すべきではない発話を検出するモデルの能力を評価するのに役立ちます。

テストセットを作成するには、「」を参照してください テストセットの作成。

テストセットができたら、トレーニング済みの NLU モデルをテストできます。テストを開始するには、「」を参照してください マルチモデルバッチテストの実行。

テストを実行すると、結果が [ テスト結果 ] ページに表示されます。

テスト結果

[テスト結果] ページには、完了したテストと進行中のテストが一覧表示されます。結果ページには、テストされたモデル、発話数、予測率が一目でわかります。

テスト結果の詳細を表示するには、テストセットの名前をクリックします。

[ 概要 ] ページには、結果に関する概要情報が表示され、予測の内訳を示すグラフィックが含まれています。

[注意が必要なインテント (現在のモデル)] には、見落とされたインテントと正しくないインテントの上位 5 件が表示されます。インテント名をクリックすると、誤って予測されたテスト発言にドリルダウンされます。この情報を使用してモデルを改善します。

[ 詳細な結果 ] タブには、テストされた各発話に関する情報が一覧表示されます。ここから、各発言のモデルごとの予測結果と信頼度を確認できます。検索バーを使用するか、フィルターツールと列ヘッダーを操作して、結果をフィルタリングします。

[ エクスポート] をクリックして、テスト結果を CSV ファイルにエクスポートすることもできます。このファイルには、詳細な結果ページと同じ列が含まれています。

テスト結果を理解するための詳細については、次を参照してください モデルをテストおよび公開。