サマリーコンテキスト

モデルが発話についてトレーニングおよびテストされ、モデルがインテント予測を返す場合、返される予測されたインテントに対して高評価または低評価を指定できます。別のインテント予測を正しいとマークすると、修正されたインテントに発言が追加されます。他のすべてのフィードバックは、継続的な学習のために取得されます。その後、フィードバックが組み込まれてモデル予測が最適化されます。この機能を使用するには、モデルにアクセスしてテストするための nlu_admin ロールが必要です。 NLU 編集者は、管理者がテストパネルにアサインした場合、 NLU テストパネルにアクセスすることもできます。

予測フィードバックの提供

指定した評価は、システムがインテントと発言を照合するのに役立ちます。これらの評価は、システムがユーザー入力に基づいてインテント予測の精度を継続的に学習、進化、および向上させるために不可欠です。また、インテント予測が正しいかどうかをシステムに通知することもできます。

シナリオ 1: テスト・パネルの「モデルを試す」セクションで、発話として 「help 」と入力し、hr と入力します。上位の予測結果が表示された場合は、予測されたインテントが発言と正しく一致していることを確信できます。したがって、この場合は、[ サムズアップ ]アイコンをクリックします。

シナリオ 2: 別のインスタンスの別のモデルで、別のユーザーが HR 発話 で同じヘルプ を入力します。システムはインテントの上位の予測結果で応答しますが、ユーザーはそれが正しいインテントかどうか確信が持てません。したがって、このユーザーは、下の画像に示すように、[ Thumbs Down] アイコンをクリックします。

結果:パネルが展開されて [ この予測を改善するためにフィードバックを提供 ] セクションが表示され、ユーザーはインテント予測の改善に役立つ可能性のあるフィードバックを送信できます。

シナリオ 3: 別のインスタンスの別のモデルで、別のユーザーが意味不明な発言を送信したり、モデルが使用する言語とは異なる言語を使用したりします。たとえば、下の画像に示すように、ユーザーが誤って英語以外の言語と英語以外の言語の両方で構成される発言を送信したとします。

結果:発話で 2 つの異なる言語が一緒に使用されているため、システムは予測を返しません。インテントが予測されなかったため、ユーザーは [ フィードバックを送信 ] オプションをクリックして [モデルを試す] セクションを展開し、他のインテントの代替案を表示します。

したがって、このユーザーは、プロンプトからインテントを選択する代わりに、[ 予測するインテントはありません ] オプションを選択します。

注:

[ 予測するインテントはありません] を選択して保存すると、その発言は、その一部であるすべてのインテントから削除されます。

シナリオ 4: 予測のモデルのインテントのリストから選択するだけでなく、発言がモデルに無関係であることをシステムに直接通知することもできます。これを行うには、「 この発話に対してこのモデルの予測を除外 する」ボタンをクリックし、「 変更を保存」をクリックします。

結果:次の画像に示すように、予測に対するユーザーフィードバックが保存されたことを確認するバナーが画面の上部に表示されます。

フィードバックレコードへのアクセス

フィードバックデータは、他のServiceNow製品でも使用されるml_labeled_dataテーブルに保存されます。このテーブルには、将来の予測に使用できるチャットログなどの 仮想エージェント 複数のソースを格納することもできます。