サマリーコンテキスト

モデルが発話についてトレーニングおよびテストされ、モデルがインテント予測を返す場合、返される予測インテントに賛成または反対の評価を指定できます。別のインテント予測を正しいとマークすると、修正されたインテントに発言が追加されます。他のすべてのフィードバックは、継続的な学習のためにキャプチャされます。フィードバックがシステムに組み込まれ、モデル予測が最適化されます。この機能を使用するには、モデルにアクセスしてテストするための nlu_admin ロールが必要です。 NLU エディターは、 NLU アドミンによってアサインされている場合は、テストパネルにアクセスすることもできます。

予測フィードバックの提供

指定した評価は、システムがインテントと発言を一致させるのに役立ちます。これらの評価は、システムがユーザー入力に基づくインテント予測の精度を継続的に学習、進化、改善するために不可欠です。また、インテント予測が正しいかどうかをシステムに通知することもできます。

シナリオ 1: テストパネルの [モデルを試す] セクションで、発言として 「hr のヘルプ 」と入力します。上位の予測結果が表示されると、予測されたインテントが発言と正しく一致していると確信できます。この場合は、[ 賛成] アイコンをクリックします。

シナリオ 2: 別のインスタンスの別のモデルで、別のユーザーが 人事発言で同じヘルプ を入力します。システムはインテントの上位の予測結果で応答しますが、ユーザーがそれが正しいインテントかどうかはわかりません。したがって、このユーザーは、下の画像に示すように [反対 ] アイコンをクリックします。

結果: パネルが展開されて [ この予測を改善するためにフィードバックを提供 ] セクションが表示され、ユーザーはインテント予測の改善に役立つ可能性のあるフィードバックを送信できます。

シナリオ 3: 別のインスタンスの別のモデルで、別のユーザーが意味不明な発言、またはモデルが使用する言語とは異なる言語を使用する発言を送信します。たとえば、次の画像に示すように、ユーザーが英語以外の言語と英語の両方の言語で構成される発言を誤って送信した場合です。

結果:発言が 2 つの異なる言語を一緒に使用しているため、システムは予測を返しません。インテントが予測されなかったため、ユーザーは [ フィードバックを送信 ] オプションをクリックして [モデルを試す] セクションを展開し、他のインテントの代替案を表示します。

したがって、このユーザーは、プロンプトからインテントを選択する代わりに、[ 予測するインテントはありません ] オプションを選択します。

注:

[ 予測するインテントはありません] を選択して保存すると、発言が含まれているすべてのインテントから発言が削除されます。

シナリオ 4:予測のモデルのインテントのリストから選択するだけでなく、発言がモデルに無関係であることをシステムに直接通知することもできます。これを行うには、 [この発言のこのモデルの予測を除外 する] ボタンをクリックし、 [変更の保存] をクリックします。

結果:次の画像に示すように、予測に対するユーザーフィードバックが保存されたことを確認するバナーが画面の上部に表示されます。

フィードバックレコードへのアクセス

フィードバックデータは、他のServiceNow製品でも使用されるml_labeled_dataテーブルに保存されます。このテーブルには、将来の予測に使用できる 仮想エージェント チャットログなど、複数のソースを格納することもできます。