NLU での無関係の検出

  • リリースバージョン: Yokohama
  • 更新日 2025年01月30日
  • 所要時間:6分
  • 無関係の検出により、 仮想エージェント チャットに集中できるようにします。無関係検出機能を使用して NLU モデルをトレーニングし、関連性のない発言の予測が行われないようにします。

    サマリー情報

    無関係検出機能は、特定の発言を無視するように NLU モデルをトレーニングすることで、モデルの予測精度を向上させます。ユーザーからのこれらの発言はどのインテントにも適用されない可能性があるため、予測は取得されません。

    想定されていないときにモデルがインテントを予測しないようにするために、発言を [関連なし] としてマークできます。これらのマークされた発言は、モデルトレーニングの一部として含まれています。公開されたモデルがユーザーからの同様の発言を検出した場合、インテントは一致せず、予測されません。

    無関係検出テーブルでは、 関連なしとしてマークされた発言を管理できます。

    ロール、使用法、ナビゲーション

    nlu_admin ロールまたは admin ロールを使用して、無関係検出にアクセスします。nlu_editorロールも無関係検出にアクセスできますが、モデルのコンテンツを編集するにはモデルにアサインする必要があります。

    無関係検出は、 仮想エージェント モデルでのみ使用できます。

    1. 次のように移動する。 All (すべて) > NLU ワークベンチ > モデル. デフォルトで [ 仮想エージェント ] タブが開きます。
    2. 仮想エージェントモデルのリストを下にスクロールして、[モデルのパフォーマンスを向上させる]セクションに移動します。
    3. 水平方向にスクロールしてカードを見つけます チャットの 集中を維持し、そのボタンを選択します 無関係の検出に移動しますNLU ワークベンチの [仮想エージェント] タブで、[チャットを集中させ続ける] カードがハイライト表示されます。
    注:
    この機能のインスタンス URL は <instance-name>.servicenow.com/now/nlu-workbench/irrelevant-utterances です。

    無関係検出への発言の追加

    無関係の検出に発言を追加するには、いくつかの方法があります。

    • 仮想エージェントチャットログ:NLU ワークベンチ の専門家フィードバックループでは、仮想エージェントチャットログから収集された発言を確認するときに、それを [関連なし] としてマークできます。システムは、特定のモデルに関係がないか、すべてのモデルに関係がないかを尋ねます。追加すると、これらの発言が専門家フィードバックループで NO_INTENT として表示される場合があります。

      NLU の専門家フィードバックループの詳細については、「NLU 専門家フィードバックループ」を参照してください。

      これらの発言には、無関係検出テーブルに VA チャットログ のソースがあります。

    • 手動入力: [無関係の検出] で、 [ここに 発言を入力] フィールドに発言を入力し、 [追加] を選択します。システムは、特定のモデルに関係がないか、すべてのモデルに関係がないかを尋ねます。

      これらの発言の [ソース] は [無関係] 検出テーブルに [手動 ] です。

    • インポート:CSV または XLSX (Excel ワークブック) ファイルを使用してトレーニング発言とそのインテントをインポートする場合、[インテント] 列を空のままにすることで、無関係な発言を示すことができます。これらの発言は、専門家フィードバックループや競合レビューなどの領域で NO_INTENT として表示される場合があります。

      発言とインテントのインポートの詳細については、「 CSV ファイルから NLU モデルを作成する」を参照してください。

      これらの発言の [ソース] は [無関係] 検出テーブルに [手動 ] です。

    無関係な発話の動作

    無関係な発話には、ある特定のモデルに関連付けられた発話と、どのモデルにも無関係な発話の 2 種類があります。モデルには、最大 200 件の無関係な発言を関連付けることができます。

    これら2つのタイプと最大200カウントがどのように相互作用するかの詳細を以下に示します。

    モデルがトレーニングのために送信されると、最大 200 件の無関係な発言がモデルとともに送信されます。まず、そのモデルに直接関連付けられた無関係な発言が送信されます。その後、どのモデルにも関連しないと指定された発言が送信されます。これらのタイプの合計は 200 を超えません。

    モデルに 200 件の無関係な発言が関連付けられており、新しい無関係な発言が追加されると、モデルの最も古い発言が削除されます。新しい無関係な発話は、いずれかのタイプである可能性があります (特定のモデルに関連しないか、どのモデルにも関連していません)。

    モデルには、通常のトレーニング発言よりも無関係な発言を含めることはできません。

    競合レビュー

    発言が無関係としてマークされていて、インテントに同様の発言がある場合、モデルはその発言の予測を行いません。つまり、無関係な発話はトレーニング発話よりも優先されます。

    無関係な発言はモデルの予測に影響を与えるため、トレーニング発言と重複する場合は競合として表示されます。
    無関係な発言との競合が強調表示される場所は 2 つあります。
    • モデル間競合レビューモジュール。このモジュールの詳細については、「 モデル間競合レビュー」を参照してください。
      注:
      モデル間競合レビューモジュールは、ServiceNow® StoreNLU ワークベンチ - 拡張機能型アプリケーションで利用できます。詳細については、「NLU Workbench - Advanced Features」を参照してください。
    • インテントの [競合] タブ。インテント内の競合の詳細については、「 インテントの問題を解決」を参照してください。
    競合を確認する目的で、無関係な発言は、 NO_INTENT という名前の独自のインテントであるかのように表示されます。

    無関係な発言は、競合ページでは編集または削除できないことに注意してください。競合ページから無関係な発言を [無関係な検出] ページにコピーして、発言を変更または削除します。

    詳細情報

    • テストセットでは、テスト発言の約 10% を無関係として含めることを目標とします。これは、インテントが予測されるべきではない発言をモデルがどのように処理するかを評価するのに役立ちます。CSV または XLSX (Excel ワークブック) ファイルからトレーニングまたはテスト発言をインポートする場合、[インテント] 列を空のままにすることで、発言が無関係であることを示すことができます。
    • テストセットに対してモデルをテストする場合、無関係な発言のインテントが予測されない場合、結果は 正しい と見なされます。
    • 関連なしとしてマークされた発言は、後で再アサインできます。たとえば、新しいインテントが作成された場合、既存の無関係な発言を新しいインテントに手動でアサインできます。その後、通常のトレーニング発言の一部になります。

      無関係の検出で発言を再アサインするには、[ 修正されたインテント ] 列のリストを展開し、適切なインテントを選択します。再アサイン後は、必ず [ フィードバックを保存 ] ボタンを選択してください。また、これらの更新をモデルに組み込むには、必ずモデルを再トレーニングしてください。

    • 無関係な発言は、モデル内の特定のインテントに関連付けられません。これらは、1 つのモデルに関連付けられているか、どのモデルにも関連していないとマークされています。
    • どのモデルにも関連しないとマークされた発言は、各モデルのトレーニングデータの一部として送信されます。つまり、これらはすべてのモデルに適用されます。
    • 関連のない発言を組み込むには、モデルトレーニングが必要です。モデルをトレーニングすると、新しくマークされた発言がすべてのモデルに追加されます。
    • 発言は、無関係検出テーブルで削除または編集できます。
    • 無関係な発言には、インテントに関連付けられた発言とは異なるコンテンツを含める必要があります。