使用方法の概要

マルチモデルバッチテストを使用して、発話とその想定されるインテントで構成されるテストセットを作成してアップロードします。その後、NLU モデルに対してテストを実行できます。

マルチモデルバッチテストは、サポートされているすべての NLU 言語のモデルで機能します。「NLU の言語サポート」を参照してください。

インストール

マルチモデルバッチテストは、ServiceNow® Storeで利用可能な NLU ワークベンチ - Advanced Features アプリの一部です。

マルチモデルバッチテストを使用するには、インスタンスで NLU ワークベンチ - 拡張機能型 (com.snc.nlu.workbench.advanced) プラグインがアクティブになっていることを確認してください。詳細については、「NLU ワークベンチのNLU ワークベンチのインストール:拡張機能とアクティブ化」を参照してください。

テストセット

テストセット は、発話と一致したインテントのリストです。CSV または XLSX (Excel ワークブック) ファイルのテーブルを使用して、テスト セットを作成します。テーブルには 2 つの列を含める必要があります。1 つは発言用、もう 1 つは想定されるインテント用です。テストセットには最大 10,000 行を含めることができます。

NLU モデルのテストを最大限に活用するには、モデルがユーザーから遭遇する可能性のある発話をテストセットに含める必要があります。テスト発言は、テストするモデルと同じ言語である必要があります。テストセットには、想定されるインテントのない発話も含める必要があります。想定されるインテントのない発話を含めると、無関係であり、インテントを予測すべきではない発話を検出するモデルの能力を評価するのに役立ちます。

テストセットを作成するには、「 テストセットの作成」を参照してください。

テストセットが用意できたら、トレーニング済み NLU モデルをテストできます。テストを開始するには、「 マルチモデルバッチテストの実行」を参照してください。

テストを実行すると、結果が [テスト結果 ] ページに表示されます。

テスト結果

テスト結果ページには、完了したテストと進行中のテストが一覧表示されます。結果ページには、テストされたモデル、発話の数、予測率が一目でわかります。

テスト結果の詳細を表示するには、テストセットの名前をクリックします。

[ 概要 ] ページには、結果に関する概要情報が表示され、予測の内訳を示すグラフィックが含まれています。

注意が必要なインテント (現在のモデル) には、欠落しているインテントと正しくないインテントの上位 5 つが表示されます。インテント名をクリックすると、誤って予測されたテスト発言にドリルダウンできます。この情報を使用してモデルを改善します。

[詳細な結果] タブには、テストされた各発話に関する情報が一覧表示されます。ここから、各発言のモデルごとの予測結果と信頼度を確認できます。検索バーを使用するか、フィルターツールと列ヘッダーを操作して、結果をフィルタリングします。

[ エクスポート] をクリックして、テスト結果を CSV ファイルにエクスポートすることもできます。このファイルには、詳細な結果ページと同じ列が含まれています。

テスト結果を理解する方法の詳細については、「 モデルをテストおよび公開」を参照してください。