NLU での無関係の検出

  • リリースバージョン: Washingtondc
  • 更新日 2024年02月16日
  • 1 読むのに数分読む
  • 無関係の検出でチャットの集中力を維持し 仮想エージェント ます。無関係の検出機能を使用してモデルを NLU トレーニングし、関連性のない発言の予測を回避します。

    概要情報

    無関係検出機能は、特定の発言を無視するようにモデルをトレーニングすることで、モデルの予測精度 NLU を向上させます。ユーザーからのこれらの発言はどのインテントにも適用されない可能性があるため、予測を取得することはできません。

    モデルが想定されていないときにインテントを予測しないようにするために、発言を「 関連なし」としてマークできます。これらのマークされた発言は、モデルトレーニングの一部として含まれます。公開されたモデルで、ユーザーからの類似の発言が検出された場合、インテントは一致または予測されません。

    無関係検出テーブルでは、 関連性なしとしてマークされた発言を管理できます。

    ロール、使用法、およびナビゲーション

    nlu_admin または admin ロールを使用して、無関係の検出にアクセスします。nlu_editorロールは無関係の検出にもアクセスできますが、モデルのコンテンツを編集するにはモデルにアサインする必要があります。

    無関係の検出はモデルでのみ使用できます 仮想エージェント

    1. 移動先 すべて > NLU ワークベンチ > モデル. デフォルトで 仮想エージェント タブが開きます。
    2. モデルのリスト 仮想エージェント を下にスクロールして、 [ モデルのパフォーマンスを向上させる ] セクションに移動します。
    3. 水平方向にスクロールして [ チャットに集中し続ける] カードを見つけ、そのボタン [ 無関係の検出に移動] を選択します。NLU Workbench の [仮想エージェント] タブで、[チャットに集中し続ける] カードが強調表示されています。
    注:
    この機能のインスタンス URL は <instance-name>.servicenow.com/now/nlu-workbench/irrelevant-utterances です。

    無関係検出への発言の追加

    無関係検出に発言を追加するには、いくつかの方法があります。

    • 仮想エージェントチャットログ:の専門家フィードバックループ でNLU ワークベンチ、チャットログから仮想エージェント収集された発言を確認するときに、関連なしとしてマークできます。システムは、特定のモデルまたはすべてのモデルに無関係であるべきかどうかを尋ねます。追加後、これらの発言は専門家フィードバックループで NO_INTENT として表示される場合があります。

      の専門家 NLUフィードバックループの詳細については、「」を参照してください NLU 専門家フィードバックループ

      これらの発言には、無関係検出テーブルに VA チャットログ のソースがあります。

    • 手動入力: [無関係の検出] で、 [ ここに発言を入力 ] フィールドに発言を入力し、 [ 追加] を選択します。システムは、特定のモデルまたはすべてのモデルに無関係であるべきかどうかを尋ねます。

      これらの発言の [無関係] 検出テーブルには [ 手動 ] のソースがあります。

    • インポート:CSV または XLSX (Excel ワークブック) ファイルを使用してトレーニング発言とそのインテントをインポートする場合は、[インテント] 列を空のままにすることで、無関係な発言を示すことができます。これらの発言は、専門家フィードバックループや競合レビューなどの領域で NO_INTENT として表示される場合があります。

      発言とインテントのインポートの詳細については、「」を参照してください NLU CSV ファイルからモデルを作成する

      これらの発言の [無関係] 検出テーブルには [ 手動 ] のソースがあります。

    無関係な発言の振る舞い

    無関係な発言には、1 つの特定のモデルに関連付けられている発話と、どのモデルにも関係のない発話の 2 種類があります。モデルには、最大 200 個の無関係な発言を関連付けることができます。

    以下に、これら 2 つのタイプと最大 200 カウントがどのように相互作用するかの詳細を示します。

    モデルがトレーニングのために送信されると、最大 200 件の無関係な発言が送信されます。まず、そのモデルに直接関連付けられている無関係な発話が送信されます。次に、どのモデルにも関連しないと指定された発言が送信されます。これらのタイプの合計が 200 を超えない。

    モデルに200件の無関係な発言が関連付けられていて、新しい無関係な発言が追加された場合、モデルの最も古い発言が削除されます。新しい無関係な発言は、どちらのタイプでもかまいません (特定のモデルに関連しないか、どのモデルにも関連しない)。

    モデルには、通常のトレーニング発話よりも多くの無関係な発話を含めることはできません。

    競合レビュー

    発言が無関係としてマークされ、インテントに同様の発言がある場合、モデルはその発言の予測を行いません。つまり、無関係な発話はトレーニング発話よりも優先されます。

    無関係な発言はモデルの予測に影響を与えるため、トレーニング発言と重複すると競合として表示されます。
    無関係な発言との競合が強調表示される場所は 2 つあります。
    • モデル間競合レビューモジュール。このモジュールの詳細については、次を参照してください モデル間競合レビュー
      注:
      モデル間競合レビューモジュールは、 の ServiceNow® Store- 拡張機能アプリケーションでNLU ワークベンチ利用できます。詳細については、「NLU Workbench - Advanced Features」を参照してください。
    • インテントの [競合] タブ。インテント内の競合の詳細については、次を参照してください インテントの問題を解決する
    競合を確認する目的で、無関係な発話は、 NO_INTENTという名前の独自のインテントにあるかのように表示されます。

    無関係な発言は、競合ページで編集または削除できないことに注意してください。無関係な発言を競合ページから [無関係の検出] ページにコピーして、発言を変更または削除します。

    詳細情報

    • テストセットでは、テスト発言の約 10% を無関係として含めることを目標とします。これは、インテントを予測すべきでない発話をモデルがどのように処理するかを評価するのに役立ちます。CSV または XLSX (Excel ワークブック) ファイルからトレーニングまたはテストの発言をインポートする場合は、[インテント] 列を空のままにすることで、発言が無関係であることを示すことができます。
    • テストセットに対してモデルをテストする場合、無関係な発言のインテントが予測されない場合、結果は 「正しい 」と見なされます。
    • 関連なしとマークされた発言は、後で再アサインできます。たとえば、新しいインテントが作成された場合、既存の無関係な発言を新しいインテントに手動で割り当てることができます。その後、通常のトレーニング発言の一部になります。

      「無関係」検出で発言を再アサインするには、「 修正されたインテント 」列のリストを展開し、適切なインテントを選択します。再割り当て後は、必ず [ フィードバックの保存 ] ボタンを選択してください。また、これらの更新をモデルに組み込むために、必ずモデルを再トレーニングしてください。

    • 無関係な発言は、モデル内の特定のインテントに関連付けられません。これらは、1 つのモデルに関連付けられているか、どのモデルにも関連していないとマークされています。
    • どのモデルにも関連しないとマークされた発言は、各モデルのトレーニングデータの一部として送信されます。つまり、これらはすべてのモデルに適用されます。
    • 関連のない発言を組み込むには、モデルトレーニングが必要です。モデルをトレーニングすると、新しくマークされた発言がすべてのモデルに追加されます。
    • 発言は、[無関係の検出] テーブルで削除または編集できます。
    • 無関係な発言には、インテントに関連付けられた発言とは異なるコンテンツが必要です。