モデル間競合レビュー
モデル内またはモデル間で競合するインテントを特定して、是正アクションを実行し、そのような競合を解決し、 NLU モデルのパフォーマンスを向上させることができます。
サマリー使用法
モデル内のインテントの数が増えると、2 つのインテントのスコープが重複する場合があります。これは、あるインテントのトレーニング発言が別のインテントの発言とほぼ同じである場合に発生する可能性があります。また、モデル間やアプリケーション間でインテントが競合する可能性もあります。
発言は [ 関連なし] (インテントが予測されない) としてマークされる場合もあります。これらの無関係な発言がインテントにアサインされた発言と類似しすぎる場合は、競合レビューに表示されます。詳細については、「NLU での無関係の検出」を参照してください。
これらの問題に対処して修正するために、モデル間競合レビューはモデルで分析を実行します。分析を使用して、モデルの公開と展開の前にこれらの問題を特定して解決します。
インストール
モデル間競合レビューは、 ServiceNow® Store で利用可能な NLU ワークベンチ - 拡張機能アプリの一部です。
モデル間競合レビューを使用するには、インスタンスで NLU ワークベンチ - Advanced Features (com.snc.nlu.workbench.advanced) プラグインがアクティブであることを確認してください。詳細については、「NLU ワークベンチ」および「アクティブ化」を参照してください。
ロール
モデル間競合レビューにアクセスするには、nlu_admin ロールまたは admin ロールを使用します。モデルにアサインされると、nlu_editorはそのモデル内の競合を解決できます。
分析の実行
[競合レビュー] 画面には、インスタンスで作成されたすべての競合レビューのリストビューが表示されます。レビューが完了すると、レビューの実行中リストに追加されます。この例のシナリオでは、インスタンスで最初のレビューを作成するため、完了するとカウントに 1 件のレビュー中 1 件として表示されます。時間の経過とともに競合が発生すると、リストに複数のレビューが表示されます。
競合レビューは、1 つまたは 2 つの NLU モデルで分析されます。単一のモデルで分析を実行すると、そのモデルにのみ存在するインテントと発言が表示されます。2 つのモデルで分析を実行すると、両方のモデルにあるインテントと発言が表示されます。
競合レビューは、常に、分析するモデルの最後にトレーニングされたバージョンで実行されます。
競合レビューには、[ 重大] と [ 中] の 2 つのタイプがあります。標準的なアプローチは、重要なものから始めることです。
- 競合を無視
- いずれかのインテントから同一またはほぼ同一の発言を削除します
- 発言を編集して互いに区別できるようにします
このシナリオ例では、2 つの異なるインテントにまったく同じ発言が含まれている競合を解決します。
1. 移動先 .
2. [分析を実行] を選択します。
3. [競合を分析するモデルを 1 つまたは 2 つ選択] 画面の [モデル] フィールドで、分析する 2 つのNLUモデルを選択します。このシナリオ例では、 demo_hardware_issue モデルと demo_it_request モデルを選択します。
4. 「 分析を実行」を選択します。
[競合レビュー] 画面が更新され、分析対象として選択した 2 つのモデル、レビュー中の重大および中程度の競合の数、完了したレビューの数、および分析の実行日を含む分析が表示されます。画面の右端の列をポイントすると、分析を再実行するか、削除して最初からやり直すかのオプションが表示されます。
5. [ モデル ] 列で、ペアになった 2 つのモデルを選択して、レビューにドリルダウンできるようにします。
画面が更新され、競合レビューの詳細が表示されます。分析用に選択した 2 つのモデルの概要、最新のトレーニング日、それらが保持する競合のタイプ、および分析のバージョンのタイムスタンプをメモします。また、これがこのインスタンスで作成された最初の競合レビューであることを示す 0/1 の数にも注意してください。時間の経過とともにシステムがより多くの競合を検出し、それらの競合がレビューされると、カウントが増加します。
下の画像の発言がそのままで問題ないと判断する場合は、[ 無視] をクリックする必要があります。[無視] をクリックすると、レビューが完了したことがシステムに通知されるため、レビュー済みとしてマークされ、次の競合レビューに進みます。ただし、このシナリオでは、同じ発言を共有するインテントはレビューに値する競合であるため、競合を無視することはできません。
この競合を解決する方法を決定するには、2 つのインテント名とそれらが共有する同一の発言を考慮してください。どの意図が ラップトップ を使用する可能性が高いかを考えてみましょう。2 つのインテント名を詳しく比較すると、本当に遅いラップトップは動作しないラップトップと同じではないことに気付くかもしれません。ただし、ラップトップが非常に遅いのは、確かにラップトップの問題です。したがって、この例のシナリオでは、インテントをより深く掘り下げて、他の発言のコンテキストをスキャンすることにします。
また、インテントが一意の発言を使用すると、システムがどの発言がそのインテントに属しているかをより正確に予測するのに役立ちます。したがって、2 つのインテントのうち 1 つから発言を編集または削除する必要があります。この例のシナリオでは、 #laptop_not_working インテントを掘り下げることにします。
6. [laptop_not_working] を選択します。
[#laptop_not_working インテント] 画面が表示され、現在の 3 つの発言が表示されます。ラップトップを削除するという決定は、#laptop_not_workingインテントからの非常に遅い発言です。
7. [この発言の ごみ箱を削除] アイコンをクリックします。
[削除の確定] 画面が表示されます。
8. [削除] を選択します。
[削除の確定] 画面が消え、ラップトップを削除したため、発言数が 3 から 2 に減少します。これは、インテントからの発言 が非常に遅いため です。
9. [トレーニング] を選択します。
モデルが正常にトレーニングされたことを確認するバナーが [インテント] 画面に表示されます。
10. ナビゲーターで [競合レビュー ] を選択します。
結果：
競 合レビュー リスト画面が表示され、競合レビュー分析が完了し、レビュー済みであることが示されます。