NLU での無関係の検出

  • リリースバージョン: Xanadu
  • 更新日 2024年08月01日
  • 所要時間:6分
  • 無関係の検出により、 仮想エージェント チャットに集中し続けます。無関係の検出機能を使用して NLU モデルをトレーニングし、関連性のない発言の予測を回避します。

    サマリー情報

    無関係の検出機能は、特定の発話を無視するようにモデルをトレーニングすることで、 NLU モデルの予測精度を向上させます。ユーザーからのこれらの発言はどのインテントにも適用されない可能性があるため、予測を取得するべきではありません。

    想定されていないときにモデルがインテントを予測しないようにするために、発言を関連 なしとしてマークできます。これらのマークされた発話は、モデルトレーニングの一部として含まれます。公開されたモデルでユーザーからの類似の発言が検出された場合、インテントの照合や予測は行われません。

    無関係検出テーブルでは、 関連なしとしてマークされた発言を管理できます。

    ロール、使用法、ナビゲーション

    無関係の検出にアクセスするには、 nlu_admin または admin ロールを使用します。nlu_editorロールは無関係の検出にもアクセスできますが、モデルのコンテンツを編集するにはモデルにアサインする必要があります。

    無関係の検出は、 仮想エージェント モデルでのみ使用できます。

    1. 移動先 すべて > NLU ワークベンチ > モデル. デフォルトでは、[ 仮想エージェント ] タブが開きます。
    2. 仮想エージェントモデルのリストを下にスクロールして、[モデルのパフォーマンスの向上] セクションを表示します。
    3. 水平方向にスクロールしてカードを見つけます チャットに集中し、そのボタンを選択します 無 関係の検出に移動しますNLU ワークベンチの [仮想エージェント] タブで、[チャットを集中させる] カードが強調表示されています。
    注:
    この機能のインスタンス URL は <instance-name>.servicenow.com/now/nlu-workbench/irrelevant-utterances です。

    無関係の検出への発言の追加

    無関係の検出に発話を追加する方法はいくつかあります。

    • 仮想エージェントチャットログ:NLU ワークベンチ の専門家フィードバックループで、仮想エージェントチャットログから収集された発言を確認するときに、関連なしとしてマークできます。システムは、特定のモデルに無関係にすべきか、それともすべてのモデルに無関係にすべきかを尋ねます。追加すると、これらの発言は専門家フィードバックループに NO_INTENT として表示される場合があります。

      NLU における専門家フィードバックループの詳細については、「NLU 専門家フィードバックループ」を参照してください。

      これらの発言には、無関係検出テーブルに VA チャットログ のソースがあります。

    • 手動入力: [無関係の検出] で、 [ ここに発言を入力 ] フィールドに発言を入力し、 [ 追加] を選択します。システムは、特定のモデルに無関係にすべきか、それともすべてのモデルに無関係にすべきかを尋ねます。

      これらの発言の [無関係] 検出テーブルには、 手動 のソースがあります。

    • インポート:CSV または XLSX (Excel ワークブック) ファイルを使用してトレーニング発話とそのインテントをインポートする場合、[インテント] 列を空のままにすることで、無関係な発話を示すことができます。これらの発言は、専門家フィードバックループや競合レビューなどの領域で NO_INTENT として表示される場合があります。

      発言とインテントのインポートの詳細については、「 CSV ファイルから NLU モデルを作成する」を参照してください。

      これらの発言の [無関係] 検出テーブルには、 手動 のソースがあります。

    無関係な発言の振る舞い

    無関係な発話には、特定の 1 つのモデルに関連付けられている発話と、どのモデルにも関係のない発話の 2 種類があります。モデルには、最大 200 件の無関係な発言を関連付けることができます。

    これら 2 つのタイプと 200 カウントの最大値がどのように相互作用するかの詳細を次に示します。

    モデルがトレーニングのために送信されると、最大 200 件の無関係な発言が送信されます。まず、そのモデルに直接関連付けられている無関係な発話が送信されます。次に、どのモデルにも関連しないと指定された発話が送信されます。これらのタイプの合計は 200 を超えません。

    モデルに 200 件の無関係な発言が関連付けられていて、新しい無関係な発言が追加された場合、モデルの最も古い発言が削除されます。新しい無関係な発話は、どちらのタイプでもかまいません (特定のモデルに関連しないか、どのモデルにも関連しない)。

    モデルには、通常のトレーニング発話よりも多くの無関係な発話を含めることはできません。

    競合レビュー

    発話が無関係としてマークされ、インテントに同様の発話がある場合、モデルはその発話を予測しません。つまり、無関係な発話はトレーニング発話よりも優先されます。

    無関係な発話はモデルの予測に影響を与えるため、トレーニング発話と重複する場合は競合として表示されます。
    無関係な発話との競合が強調表示される場所は 2 つあります。
    • モデル間競合レビューモジュール。このモジュールの詳細については、「 モデル間競合レビュー」を参照してください。
      注:
      モデル間競合レビューモジュールは、ServiceNow® StoreNLU ワークベンチ - 拡張機能型アプリケーションで利用できます。詳細については、「NLU Workbench - Advanced Features」を参照してください。
    • インテントの [競合] タブ。インテント内の競合の詳細については、「 インテントの問題を解決する」を参照してください。
    競合を確認する目的で、無関係な発話は、 NO_INTENTという名前の独自のインテントにあるかのように表示されます。

    競合ページでは、無関係な発言を編集または削除できないことに注意してください。無関係な発言を競合ページから [無関係の検出] ページにコピーして、発言を変更または削除します。

    詳細情報

    • テストセットでは、テスト発言の約 10% を無関係として含めることを目標とします。これは、インテントを予測すべきではない発話をモデルがどのように処理するかを評価するのに役立ちます。CSV または XLSX (Excel ワークブック) ファイルからトレーニングまたはテストの発話をインポートする場合、[インテント] 列を空のままにすることで、発話が無関係であることを示すことができます。
    • テストセットに対してモデルをテストする場合、無関係な発話に対するインテントが予測されない場合、結果は 「正しい 」と見なされます。
    • 関連なしとしてマークされた発言は、後で再アサインできます。たとえば、新しいインテントが作成された場合、既存の無関係な発話を新しいインテントに手動で割り当てることができます。その後、通常のトレーニング発話の一部になります。

      無関係の検出で発言を再アサインするには、[ 修正されたインテント ] 列のリストを展開し、適切なインテントを選択します。再アサイン後は、必ず [ フィードバックを保存 ] ボタンを選択してください。また、必ずモデルを再トレーニングして、これらの更新をモデルに組み込んでください。

    • 無関係な発話は、モデル内の特定のインテントに関連付けられません。これらは、1 つのモデルに関連付けられているか、どのモデルにも関連していないとマークされています。
    • どのモデルにも関連しないとマークされた発言は、各モデルのトレーニングデータの一部として送信されます。つまり、これらはすべてのモデルに適用されます。
    • 関連しない発話を組み込むには、モデルトレーニングが必要です。モデルをトレーニングすると、新しくマークされた発話がすべてのモデルに追加されます。
    • 発言は、[無関係] 検出テーブルで削除または編集できます。
    • 無関係な発話には、インテントに関連付けられた発話とは異なるコンテンツが必要です。