サマリーコンテキスト

モデルが発話に対してトレーニングおよびテストされ、モデルがインテント予測を返す場合、返される予測されたインテントに賛成または反対の評価を指定できます。別のインテント予測を正しいとマークすると、修正されたインテントに発話が追加されます。他のすべてのフィードバックは、継続的な学習のために収集されます。その後、システムはフィードバックを組み込んでモデル予測を最適化します。この機能を使用するには、モデルにアクセスしてテストするためのnlu_adminロールが必要です。 NLU エディターは、 NLU アドミンによって割り当てられていれば、テストパネルにアクセスすることもできます。

予測フィードバックの提供

指定した評価は、システムがインテントと発話を照合するのに役立ちます。これらの評価は、システムがユーザー入力に基づいてインテント予測の精度を継続的に学習、進化、および向上させるために不可欠です。また、インテント予測が正しいかどうかをシステムに通知することもできます。

シナリオ 1: テストパネルの [モデルを試す] セクションで、発話として「 help with hr 」と入力します。上位の予測結果が表示された場合は、予測されたインテントが発話と正しく一致していることを確信できます。したがって、この場合は、[ サムズアップ ]アイコンをクリックします。

シナリオ 2: 別のインスタンスの別のモデルで、別のユーザーが HR 発話 について同じヘルプ を入力します。システムはインテントの上位の予測結果で応答しますが、ユーザーはそれが正しいインテントであるかどうか確信が持てません。したがって、このユーザーは、下の画像に示すように、[ Thumbs Down] アイコンをクリックします。

結果: パネルが展開され、[ この予測を改善するためにフィードバックを提供 ] セクションが表示され、ユーザーはインテント予測の改善に役立つ可能性のあるフィードバックを送信できます。

シナリオ 3: 別のインスタンスの別のモデルで、別のユーザーが意味不明な言葉を使用する発話を送信したり、モデルが使用する言語とは異なる言語を使用したりします。たとえば、下の画像に示すように、ユーザーが英語以外の言語と英語の両方の言語で構成される発話を誤って送信した場合などです。

結果:発話で 2 つの異なる言語が一緒に使用されているため、システムは予測を返しません。インテントが予測されていなかったため、ユーザーは [ フィードバックを送信 ] オプションをクリックすると、[モデルを試す] セクションが展開され、他のインテントの代替案が表示されます。

したがって、このユーザーは、プロンプトからインテントを選択する代わりに、[ 予測するインテントはありません ] オプションを選択します。

注:

[ 予測するインテントはありません] を選択して保存すると、発話は、その一部であるすべてのインテントから削除されます。

シナリオ 4: 予測のモデルの意図の一覧から選択するだけでなく、発話がモデルに無関係であることをシステムに直接通知することもできます。これを行うには、[ Exclude this model's predictions for this utterance] (この発言に対してこのモデルの予測を除外 する) ボタンをクリックし、[ Save changes] (変更を保存) をクリックします。

結果:下の画像に示すように、予測に対するユーザーフィードバックが保存されたことを確認するバナーが画面の上部に表示されます。

フィードバックレコードへのアクセス

フィードバックデータは、他のServiceNow製品でも使用されるml_labeled_dataテーブルに保存されます。このテーブルには、将来の予測に使用できる 仮想エージェント チャットログなど、複数のソースを格納することもできます。