モデル間競合レビュー
モデル内またはモデル間で競合するインテントを特定して、是正処置を行い、そのような競合を解決し、 NLU モデルのパフォーマンスを向上させることができます。
使用方法の概要
モデル内のインテントの数が増えると、2 つのインテントのスコープが重複する可能性があります。これは、あるインテントのトレーニング発言が別のインテントの発言とほぼ同じである場合に発生する可能性があります。また、モデル間、さらにはアプリケーション間でインテントが競合する可能性もあります。
発言は [関連なし] としてマークされることもあります。これは、インテントが予測されないことを意味します。これらの無関係な発言がインテントに割り当てられた発言と類似しすぎる場合は、競合レビューに表示されます。詳細については、「NLU での無関係の検出」を参照してください。
これらの問題に対処して修正するために、モデル間競合レビューはモデルで分析を実行します。モデルの公開と展開の前に、分析を使用してこれらの問題を特定して解決します。
インストール
モデル間競合レビューは、 ServiceNow® Store で利用可能な NLU ワークベンチ - 拡張機能アプリの一部です。
モデル間競合レビューを使用するには、 NLU ワークベンチ - 拡張機能 (com.snc.nlu.workbench.advanced) プラグインがインスタンスでアクティブになっていることを確認します。詳細については、「NLU ワークベンチNLU ワークベンチのインストール - 拡張機能とアクティブ化」を参照してください。
ロール
モデル間競合レビューにアクセスするには、nlu_admin ロールまたは admin ロールを使用します。モデルにアサインされると、nlu_editorそのモデルの競合を解決できます。
分析の実行
[競合レビュー] 画面には、インスタンスで作成されたすべての競合レビューのリストビューが表示されます。レビューが完了すると、実行中のレビューリストに追加されます。この例のシナリオでは、インスタンスで最初のレビューを作成しているため、完了すると、カウントに 1/1 レビューとして表示されます。時間の経過とともに競合が発生すると、リストに複数のレビューが表示されます。
競合レビューは、1つまたは2つの NLU モデルで分析されます。単一のモデルで分析を実行すると、そのモデルにのみ存在するインテントと発言が表示されます。2 つのモデルで分析を実行すると、両方のモデルに含まれるインテントと発言が表示されます。
競合レビューは、分析するモデルの最後のトレーニング済みバージョンで常に実行されます。
競合レビューには、 重大 と 中の両方のタイプがあります。標準的なアプローチは、重要なものから始めることです。
- 競合を無視する
- インテントの 1 つから同一またはほぼ同一の発言を削除します
- 発言を編集して、互いに区別しやすくします
このシナリオ例では、2 つの異なるインテントにまったく同じ発言が含まれている競合を解決しています。
1. 移動先: .
2. 「解析を実行」を選択します。
3. 競合について分析するモデルを1つまたは2つ選択画面のモデルフィールドで、分析用のNLUモデルを2つ選択します。この例のシナリオでは、 demo_hardware_issue モデルと demo_it_request モデルを選択します。
4. 「解析を実行」を選択します。
[競合レビュー] 画面が更新され、分析用に選択した 2 つのモデル、レビュー中の重大および中競合の数、完了したレビューの数、分析の実行日などの分析が表示されます。画面の右端の列をポイントすると、分析を再実行するか、分析を削除して最初からやり直すかのオプションが表示されます。
5. [モデル ] 列で、ペアになっている 2 つのモデルを選択して、レビューにドリルダウンできるようにします。
画面が更新され、競合レビューの詳細が表示されます。分析に選択した 2 つのモデルの概要、最新のトレーニング日、それらが保持する競合のタイプ、および分析のバージョンタイムスタンプに注意してください。カウント 0 of 1 は、これがこのインスタンスで作成された最初の競合レビューであることを示しています。時間の経過とともにさらに多くの競合が検出され、それらの競合が確認されると、カウントが増加します。
下の画像の発話がそのままで問題ないと判断した場合は、[ 無視] をクリックする必要があります。[無視] をクリックすると、レビューが完了したことがシステムに通知され、レビュー済みとしてマークされて、次の競合レビューに進みます。ただし、このシナリオでは、同じ発言を共有するインテントはレビューに値する競合であるため、競合を無視しません。
この競合を解決する方法を決定するには、2 つのインテント名とそれらが共有する同一の発言を考慮します。ラップトップを使用する可能性が高いインテントは 本当に遅い 発話です。2 つのインテント名を詳しく比較すると、非常に遅いラップトップと動作しないラップトップは同じではないことに気付くかもしれません。しかし、本当に遅いラップトップは確かにラップトップの問題です。そのため、このシナリオ例では、インテントを深く掘り下げて、他の発言のコンテキストをスキャンすることにしました。
また、インテントで一意の発言を使用すると、どの発言がインテントに属するかをより正確に予測できるようになります。したがって、2 つのインテントのうちの 1 つから発言を編集または削除する必要があります。このシナリオ例では、 #laptop_not_working インテントを掘り下げることにしました。
6. [laptop_not_working] を選択します。
[#laptop_not_workingインテント] 画面が表示され、現在の 3 つの発言が表示されます。あなたはラップトップを削除するという決定を下します 本当に遅い発話です #laptop_not_workingインテントから。
7. [この発言 のゴミ箱を削除] アイコンをクリックします。
[削除を確認] 画面が表示されます。
8. [削除] を選択します。
ラップトップを削除したため、[削除の確認] 画面が非表示になり、発言数が 3 から 2 に減少します。
9. [トレーニング] を選択します。
モデルが正常にトレーニングされたことを確認するバナーが [インテント] 画面に表示されます。
10. ナビゲーターで [競合レビュー ] を選択します。
結果 :
[ 競合レビュー ] リスト画面が表示され、競合レビュー分析が完了し、レビューされたことが示されます。