使用方法の概要

専門家フィードバックループは、インスタンスからデータを取得し、フィードバックのために提供します。このデータは、ユーザーの仮想エージェント (VA) チャットログから取得され、それらのログからの発言が含まれます。nlu_adminロールを使用して、 すべて > NLU ワークベンチ > 専門家フィードバックループ また、インテントに対して発言が正しいか(一致)、正しくないか(不一致)を確認することで、モデル内の各発言をマークします。このフィードバックは、モデルのパフォーマンスを継続的に向上させるのに役立ちます。

インストール

専門家フィードバックループは、で利用可能な ServiceNow® StoreNLU Workbench - Advanced Features アプリの一部です。

専門家フィードバックループを使用するには、インスタンスで - Advanced Features (sn_nlu_workbench) プラグインがアクティブになっていることを確認してください NLU ワークベンチ 。詳細については、「NLU Workbench のアクティブ化」を参照してくださいNLU Workbench - Advanced Features のインストール。

専門家フィードバックループは VA チャットログのデータに依存するため、Glide 仮想エージェント (com.glide.cs.chatbot) プラグインもアクティブであることを確認してください。「 仮想エージェントのアクティブ化」を参照してください。

インスタンス間の専門家フィードバックループデータのインポート

インポートを開始する前に、インスタンス内のデータにアクセスできることと、フィードバックを続行するのに十分なデータがあることを確認してください。

準本番インスタンスで作業している場合は、本番インスタンスの open_nlu_predict_intent_feedback テーブルから準本番インスタンスにフィードバックデータをインポートする必要があります。インポート方法のガイダンスについては、「 別の ServiceNow インスタンスからのインポート」を参照してください。

フィードバックのコンテキストとアクセス

専門家フィードバックループは、選択した発言のサブセットに対して提供するフィードバックを通じて、VA に展開されたモデルを改善する NLU ためのメカニズムを提供します。発言ごとに、予測されるインテントを確認するか、または発言が属する正しいインテントを指定するように求められます。このフィードバックが完了すると、データを使用してモデルのパフォーマンスが調整され、モデルが改善され、再デプロイしてより多くのエンド ユーザー データを収集できるようになります。これは、システムが継続的にデータを収集し、提供されたフィードバックから学習し、そのフィードバックを使用してモデルをさらに改善 NLU できるようにする反復サイクルです。

30 日に 1 回、システムは最大 300 の発言サンプルを VA チャットログから専門家フィードバックループにプルします。発言は、ログ内のすべての発言をどの程度適切に表しているかに基づいて、フィードバック用に選択されます。VA チャットログからサンプリングされたすべての発言には、システムによって選択された予測インテントがあります。

システムプロパティの設定 glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size を調整することで、VA チャットログからプルする発言の数を設定することもできます。

発言を確認しながら、各発言が予測されたインテントに属するか、別のインテントに移動する必要があるかを判断します。正しい意図がわからない場合は、さらに確認するために発言を再確認するようにマークできます。フィードバックで少なくとも 100 件の発言をマークすると、マークされたすべての発言を使用してモデルが調整および改善されます。

VA チャットログの発言の確認

ループに入ったので、次の画像に、VA モデルのインテントをサポートする発言のリスト NLU が表示されます。リストの各ページには、ページあたり約 20 件の発言が表示されます。目標は、各発言を確認し、その関係ステータスを特定の VA インテントにマークすることです。各発言には、 NLU_Match、 不一致、または 不明 のいずれかの値でマークします。

発言を NLU_Match としてマークすることは、その発言の NLU 予測に同意することを意味します。発言を 「不一致 」としてマークすると、その発言が別のインテントに属していることを意味し、「 不一致」を選択すると、インテントのドロップダウンが表示され、正しいインテントを選択できます。どのインテントが正しいかわからない場合は、「 不明」としてマークできます。

NLU_Match値または不一致値でマークされて保存された発言は、[完了したレビュー] セクションに移動されます。「 不明」 の値がマークされて保存された発言は、[ さらにレビューが必要 ] セクションに移動されます。

ad_password_changeインテントの発話は、インテント内に少なくとも 1 つの発話に password という単語が含まれているため、予測されたインテントと一致するものとして簡単にマークできます。

予測されたインテントの発言の確認を終了し、[ フィードバックの保存] をクリックすると、画面が更新され、モデル内の次の予測インテントが強調表示されます。

発言を値別にグループ化して表示する場合は、[ 表示] フィルターをクリックし、プロンプトでオプションの 1 つを選択します。値は、[ すべて]、[ NLU_Match]、および [不明] です。

カードビューオプションを使用して発言をレビューする

専門家フィードバックループの発話は、上記の多くの画像に示されているように、デフォルトでリストビューの [To Do ] セクションに表示されます。ただし、カード内にフレーム化された各発言を表示する別のビューを選択することもできます。このオプションを選択すると、各発言が 5 つのグループでページに表示されます。リストビュー内で、 カード アイコンをクリックします。

結果:カードビューがリストビューに置き換わります。発言カードのページの両側にある左右の矢印に注意してください。右矢印をクリックすると、次の 5 枚のカードのセットにページがめくれます。左矢印をクリックすると、ページが前の 5 枚のカードのセットに戻ります。カードビューではなくリストビューに切り替える場合は、下の画像の右上隅に示すように リスト アイコンをクリックします。

発言値の変更

発言をマークした後で、選択した値に気が変わった場合は、[ 不一致 ]をクリックして別のインテントを選択することで問題を解決できます。[ フィードバックの保存 ] をクリックして変更を保存します。

未保存のフィードバック

発言をマークするセッションを終了してログアウトしたが、変更を保存するのを忘れた場合は、「表示」プロンプトから「未保存の変更」を選択します。このアクションでは、フィードバックを提供したが、まだ保存していないすべての発言が表示されます。

オンデマンドで追加の VA フィードバックデータを調達する

これらのプロパティが他の NLU プロパティのコンテキスト内でどのように機能するかを確認するには、を参照してください NLU ワークベンチのプロパティ。

未分類の発言の確認

VA チャットログから専門家フィードバックループへのフィードの一部として、システムは VA インテントに含まれていないインスタンス内の発言を収集してリストに表示します。これらの発言にアクセスするには、画面上部のプロンプトに対する専門家フィードバックループで [未分類] を選択します。

上の画像に関して、未分類の発話ページがどのように機能するかを説明するのに役立ついくつかの項目について、次のように説明しましょう。[To Do] セクションでは、インテントに接続する必要がある発言を収集します。この日は、そのような発話が120件あることがわかります。画面の [完了 ] セクションには、まだアクションを実行していないため、発言がないことに注意してください。

また、画面の右端には垂直バーがあり、上下にスクロールして発話のリストをナビゲートできます。このスクロール画面の下部には、左右を指す矢印があり、その日の完全な発言リストの次または前のページに戻ることができます。

また、接続を行うアクションを実行すると、通常はデフォルトでアクティブになっている [ フィードバックの保存 ] ボタンが非アクティブになります。これは、システムがアクションを認識して変更を自動的に保存するためです。

[モデルの調整] フェーズでの専門家フィードバック ループのデータ

専門家フィードバックループの [ モデルの調整 ] ボタンは常に有効になっており、専門家フィードバックループの [ 完了 ] タブからモデルとそのテストセットに発言を移動するエクスペリエンスがサポートされています。モデルを調整または再調整する必要があるときはいつでも、nlu_adminロールを使用してこのボタンをクリックします。

専門家フィードバックループで発言を確認した後、フィードバックデータの一部をモデルのデフォルトのテストセットにプッシュできます。これらの発話は、モデルの [ テスト発話] タブに直接追加されます。これにより、実際のエンドユーザーの発話でテストセットを継続的に維持および更新できます。テスト発言のソースが追跡され、専門家フィードバックループからのものか別のソースからのものかが可視化されます。

少なくとも 100 個の発言をマークして保存する前に [ モデルの調整 ] ボタンをクリックすると、画面が更新され、下の画像のテキストで参照されているように、100 個の発言フィードバック目標をクリアすると、モデルのパフォーマンスの品質が向上することが通知されます。

フィードバックデータのマークと保存を続けると、レビュー済みの発言 (緑色) とまだレビュー可能な発言 (白色) の比率が、下の進捗状況バー画像で確認できます。

アクティブラーニングジョブの使用

スケジュールされたジョブは、バッチ ジョブまたはバッチ スケジューリングとも呼ばれ、特定の時間または定期的なスケジュールで実行される自動化された作業です。多くのジョブはスケジュールに従って実行されますが、ここでは例としてアクティブラーニングジョブに焦点を当てています。