サマリーコンテキスト

モデルがトレーニングされ、発言についてテストされ、モデルがインテント予測を返した場合、返される予測インテントについて「賛成」または「反対」の評価を提供できます。別のインテント予測を正しいとマークすると、発言が修正されたインテントに追加されます。他のすべてのフィードバックは、継続的な学習のために取得されます。その後、システムはフィードバックを組み込み、モデル予測を最適化します。この機能には、モデルにアクセスしてテストするための nlu_admin ロールが必要です。 NLU エディターは、 NLU アドミンからアサインされた場合、テストパネルにアクセスすることもできます。

予測フィードバックの提供

指定した評価は、システムがインテントと発言を照合するのに役立ちます。これらの評価は、システムが継続的に学習、進化させ、ユーザー入力に基づくインテント予測の精度を向上させるために不可欠です。また、インテント予測が正しいかどうかをシステムに通知することもできます。

シナリオ 1:テストパネルの [モデルを試す] セクションで、発言として「人事のヘルプ」と入力します。上位の予測結果が表示されたら、予測されたインテントが発言と正確に一致していると確信できます。この場合は、[ Thumbs Up ] アイコンをクリックします。

シナリオ 2: 別のインスタンスの別のモデルで、別のユーザーが HR 発言 で同じヘルプ を入力する。システムはインテントの上位の予測結果で応答しますが、ユーザーはそれが正しいインテントかどうかわかりません。このユーザーは、下の画像に示すように、[ 反対 ]アイコンをクリックします。

結果:パネルが展開され、[ この予測を改善するためのフィードバックを提供 ] セクションが表示され、ユーザーはインテント予測の改善に役立つ可能性のあるフィードバックを送信できます。

シナリオ 3:別のインスタンスの別のモデルで、別のユーザーが意味不明な発言を送信するか、モデルが使用する言語とは異なる言語を使用する発言を送信する。たとえば、次の画像に示すように、ユーザーが英語以外の言語と英語以外の言語の両方で構成される発言を誤って送信した場合などです。

結果:発言で 2 つの異なる言語が一緒に使用されているため、システムは予測を返しません。インテントが予測されなかったため、ユーザーは [フィードバックを提供 ] オプションをクリックすると、[モデルを試す] セクションが展開され、他のインテントの代替案が表示されます。

そのため、このユーザーはプロンプトからインテントを選択する代わりに、[ No intent should be predicted (予測すべきではないインテント )] オプションを選択します。

注:

[イン テントを予測しない] を選択して保存すると、発言はそのインテントが含まれているすべてのインテントから削除されます。

シナリオ 4:モデルの予測インテントのリストから選択するだけでなく、発言がモデルに無関係であることをシステムに直接通知することもできます。これを行うには、[ この発言に対するこのモデルの予測を除外する] ボタンをクリックし、[ 変更内容を保存] をクリックします。

結果:次の画像に示すように、予測に対するユーザーフィードバックが保存されたことを確認するバナーが画面上部に表示されます。

フィードバックレコードへのアクセス

フィードバックデータは ml_labeled_data テーブルに保存され、他の ServiceNow 製品でも使用されます。このテーブルには、将来の予測に使用できる 仮想エージェント チャットログなど、複数のソースを格納することもできます。