NLU モデルのパフォーマンス
NLUモデルパフォーマンスを使用して、エンドユーザーの確認に基づいてモデルが仮想エージェント (VA) でどの程度適切にインテントを予測したかを確認します。
サマリー使用法
NLUモデルパフォーマンスアプリケーションは、NLUモデルが VA ユーザーのインテントを発言からどの程度正確に予測しているかについての分析とレポートを提供します。VA のモデル NLU 更新、公開、および展開されると、 NLU モデルのパフォーマンスを使用して、それらが行うインテント予測の有効性を確認できます。これらの予測がスキップされる場合は、モデルに対して十分に高い信頼スコアでインテントを予測できないためです。VA トピック予測を改善するために、サポートされていない VA 発言が分析のクラスターにグループ化され、分析結果を特定するレポートが生成されます。
このアプリケーションにアクセスするには、nlu_admin ロールまたは admin ロールを使用して次の場所に移動します .
インストール
NLU モデルパフォーマンスは、 ServiceNow® Storeで利用可能なアプリケーションです。このアプリケーションを使用するには、インスタンスで NLU ワークベンチ - Advanced Features (sn_nlu_workbench) プラグインがアクティブであることを確認してください。詳細については、「NLU ワークベンチ」および「アクティブ化」を参照してください。NLU モデルのパフォーマンスは VA からのデータに依存しているため、Glide 仮想エージェント (com.glide.cs.chatbot) プラグインもアクティブであることを確認してください。仮想 エージェントのアクティブ化を参照してください。
ServiceNow NLU の対話型インターフェース設定の構成
NLUパフォーマンスを追跡するには、最初に 仮想エージェント で対話型インターフェース (CI) 設定を構成する必要があります。これらの設定にアクセスするには、[ 仮想エージェントの NLU モデルパフォーマンス ] ランディングページの上部に移動し、[ 対話型インターフェース設定] をクリックします。このアクションにより、次の画像に示すように、仮想エージェントの CI 設定ページが表示されます。
設定を構成するには、virtual_agent_admin または admin ロールを使用する必要があります。構成ガイダンスについては、「 仮想エージェントでの NLU の実装 」および「 仮想エージェント設定での NLU 言語の有効化」を参照してください。
ユーザーインターフェイス (UI) の確認
- [ パフォーマンス ] タブとそのカラーチャート (ユーザーが VA を操作するときに発生するシナリオを説明するデータ)。このチャートは 3 色の網掛けでセグメント化されており、それぞれがユーザーシナリオを表します。グラフ内のテキストとパーセンテージを含む行は、凡例と呼ばれます。凡例の 1 行目の 3 つのシナリオの下には、2 行目の 2 つの結果シナリオがあります。凡例の下のバーは、その上のシナリオの色に対応しています。これらの棒グラフのサイズは、各シナリオのパーセンテージ値に基づいています。
- たとえば、濃い青色のバーは、この VA ユーザーバッチの 10% が、VA チャットボットの会話に使用する正しいトピックをシステムから提示されたことを確認し、ユーザーの 58 % (濃い赤色のバーで表される) が提示されたトピックが間違っていることを確認したことを示しています。これら 2 つのシナリオの間に存在するのは、ユーザーの 32% (濃い茶色のバーで表される) がまったく確認を行わなかったことを示すシナリオです。
- [ すべての棒を表示 ] フィルターをいつでも切り替えて、グラフ内の色付きの棒とそれに関連するシナリオを表示または非表示にすることをお勧めします。また、NLU モデルパフォーマンスに初めてアクセスすると、チャートのデフォルトビューにはシナリオの最初の行と棒の最初の行のみが表示されることに注意してください。
- 表示しているシナリオに応じて、他のビューも表示されます。たとえば、NLU モデルパフォーマンスに初めてアクセスし、凡例の最初の行にあるシナリオをクリックすると、他の 2 つのシナリオのバーは非表示になります。これにより、焦点を当てているシナリオが残りのシナリオから部分的に分離されるため、UI が整理されやすくなります。これらのアクションはデータを変更せず、グラフ内の凡例と棒のさまざまなビューを表示するだけです。
- [サポートされていない発言] タブ。パフォーマンス分析で使用するためにクラスターにグループ化された発言が表示されます。UI のこのセクションでは、専門家フィードバックループアプリケーションへ移動したり戻ったりすることができ、分析を実行することもできます。
サポートされていない発言は、無関係な発言とは異なります。詳細については、「NLU での無関係の検出」を参照してください。
- 棒グラフの下にある [パフォーマンスの詳細] セクション。このセクションには、[ 発言]、[ 予測されるインテント]、[ 予測モデル]、および [予測結果] の 4 つの列があります。このセクションに表示される詳細は、凡例データおよびその上の棒グラフデータとやり取りします。
VA ユーザーシナリオの確認
UI の凡例セクションには、テキストとパーセンテージに情報アイコンが表示されます。アイコンをポイントして、そのユーザーシナリオの定義を呼び出します。定義を確認するには、以下の表を参照してください。
| シナリオ | 定義 |
|---|---|
| ユーザーが正しいことを確認しました | 正しいトピックがエンドユーザーに提示され、エンドユーザーはそれが正しいことを確認しました。 |
| トピックが起動され、ユーザーが正しいことを確認しました | トピックが起動され、ユーザーがそれが必要なトピックであることを確認しました。 |
| トピックメニューが表示され、ユーザーが 1 つ選択しました | 複数のトピックがメニューとしてユーザーに表示され、ユーザーはニーズに対応するトピックを 1 つ選択しました。 |
| ユーザーが確認を行っていません | トピックが起動されましたが、ユーザーがそれが自分のニーズに合っているかどうかを確認しませんでした。 |
| 予測は行われず、代替トピックが起動されました | 予測は行われず、代替トピックが起動されました。 |
| トピックが起動されましたが、ユーザーの確認はありません | トピックが起動されましたが、ユーザーがそれが正しいかどうかを確認しませんでした。 |
| ユーザーが正しくないことを確認しました | 提示されたトピックはエンドユーザーのニーズに対応しておらず、ユーザーがトピックが正しくないことを確認しました。 |
| トピックが起動され、ユーザーが正しくないことを確認しました | トピックが起動され、ユーザーがそれが正しくないことを確認しました。 |
| トピックメニューが表示されましたが、ユーザーは何も選択していません | 複数のトピックがメニューとしてユーザーに表示され、ユーザーはどのトピックも関連性がないと判断し、トピックを選択しませんでした。 |
言語フィルターとモデルフィルターの使用
[パフォーマンス] タブには、[言語] フィルターと [モデル] フィルターが表示されます。その横には、グラフの凡例と棒の上に設定した最新の日付範囲の値も表示されます。言語 フィルターをクリックすると 、 NLUで利用可能なすべての言語が表示されます。[ モデル ] フィルターをクリックすると、インスタンスで利用可能なすべての予測モデルが表示されます。言語フィルターのデフォルト設定は [すべての言語] で、モデルフィルターのデフォルト設定は [すべてのモデル] です。
言語フィルターとモデルフィルターは相互に作用します。たとえば、[言語] フィルターで [French-fr] を選択すると、次の画像に示すように、モデルフィルターにはフランス語を使用するインスタンス内のすべての予測モデルが自動的に表示されます。
- [モデル] フィルターから特定のモデルを選択すると、言語フィルターの値が更新され、選択したモデルの言語が表示されます。
- 言語フィルターから特定の言語を選択すると、モデルフィルターにはその選択した言語のモデルのみが表示されます。
日付範囲の設定
[パフォーマンス] タブで、[ 日付範囲 ] を使用して、システムが VA データをプルする位置を定義します。[ 過去 30 日間]、[ 過去 60 日間]、[ 過去 90 日間]、または [カスタム範囲] を選択します。日付範囲をさかのぼるほど、分析に含まれるデータが多くなります。
分析の実行
パフォーマンス分析を実行するには、[ サポートされていない発言 ] タブをクリックします。UI のこのセクションには、 NLU がトピック予測を行わなかった、または予測されたトピックが正しくないことを VA エンドユーザーが確認した VA 発言を含む展開可能なクラスターの行が表示されます。次に行うことは、[ 専門家フィードバックループ]をクリックすることです。このアクションにより、 NLU 専門家フィードバックループ アプリケーションに移動し、VA からプルされた発言を確認してフィードバックを提供します。
専門家フィードバックループアプリケーションを終了して NLU モデルパフォーマンスに戻ったら、任意のクラスターの キャレット アイコンをクリックして開きます。次の画像に示すように、クラスター内で最も代表的な VA 発言が表示されます。
[ 分析を実行] または [ 分析を再実行] のいずれか利用可能な方をクリックします。分析を実行するたびに、最新の VA 発言が分析にプルされます。