モデル間競合レビュー
是正処置を行い、競合を解決し、モデルのパフォーマンスを改善できるように、モデル内またはモデル間で競合するインテントを特定します NLU 。
使用方法の概要
モデル内のインテントの数が増えると、2つのインテントのスコープが重複する場合があります。これは、あるインテントのトレーニング発言が別のインテントの発言とほぼ同じである場合に発生する可能性があります。また、モデル間やアプリケーション間でもインテントが競合する可能性があります。
発言は、インテントを予測する必要がないことを意味する「 関連なし」とマークされる場合もあります。これらの無関係な発言がインテントに割り当てられた発言と類似しすぎている場合は、[競合レビュー] に表示されます。詳細については、「NLU での無関係の検出」を参照してください。
これらの問題に対処して修正するために、モデル間競合レビューはモデルで分析を実行します。解析を使用して、モデルの公開と展開の前にこれらの問題を特定して解決します。
インストール
モデル間競合レビューは、で利用可能な ServiceNow® StoreNLU Workbench - Advanced Features アプリの一部です。
モデル間競合レビューを使用するには、インスタンスで - Advanced Features (com.snc.nlu.workbench.advanced) プラグインがアクティブになっていることを確認します NLU ワークベンチ 。詳細については、「NLU Workbench のアクティブ化」を参照してくださいNLU Workbench - Advanced Features のインストール。
ロール
モデル間競合レビューにアクセスするには、nlu_admin または admin ロールを使用します。モデルに割り当てると、nlu_editorはそのモデル内の競合を解決できます。
解析の実行
[競合レビュー] 画面には、インスタンスで作成されたすべての競合レビューのリストビューが表示されます。レビューが完了すると、レビューの実行中リストに追加されます。この例のシナリオでは、インスタンスで最初のレビューを作成しているため、完了すると、1 件中 1 件のレビューとしてカウントに表示されます。時間の経過とともにより多くの競合が発生すると、リストに複数のレビューが表示されます。
競合レビューは、1 つまたは 2 つの NLU モデルで分析されます。単一のモデルで分析を実行すると、そのモデルにのみ存在するインテントと発言が表示されます。2 つのモデルで分析を実行すると、両方のモデルにあるインテントと発言が表示されます。
競合レビューは、分析対象となるモデルの最後のトレーニング済みバージョンで常に実行されます。
競合レビューには、[ 重大 ] と [中] の 2 種類があります。標準的なアプローチは、重要なものから始めることです。
- 競合を無視
- いずれかのインテントから同一またはほぼ同一の発言を削除する
- 発言を編集して、互いに区別しやすくします
このシナリオ例では、2 つの異なるインテントにまったく同じ発言が含まれている競合を解決しています。
1. 移動先 .
2. [ 解析実行]を選択します。
3. 「競合を分析する 1 つまたは 2 つのモデルを選択」画面の「モデル」フィールドで、分析するモデルを 2 つNLU選択します。このシナリオ例では、 demo_hardware_issue モデルと demo_it_request モデルを選択します。
4. [ 解析を実行]を選択します。
[競合レビュー] 画面が更新され、分析用に選択した 2 つのモデル、レビュー中の重大および中程度の競合の数、完了したレビューの数、および分析の実行日を含む分析が表示されます。画面の右端の列をポイントすると、分析を再実行するか、削除して最初からやり直すかのオプションが表示されます。
5. [モデル] 列で、ペアになっている 2 つのモデルを選択して、レビューにドリルダウンできるようにします。
画面が更新され、競合レビューの詳細が表示されます。分析用に選択した 2 つのモデルの概要、最新のトレーニング日、保持されている競合のタイプ、および分析のバージョン タイム スタンプをメモします。また、0/1 というカウントは、これがこのインスタンスで作成された最初の競合レビューであることを示しています。システムが時間の経過とともに検出する競合が増加し、それらの競合が確認されると、カウントは増加します。
下の画像の発話がそのままで問題ないと判断した場合は、[ 無視] をクリックする必要があります。[無視] をクリックすると、レビューが完了したことがシステムに通知されるため、レビュー済みとしてマークされ、次の競合レビューに進みます。ただし、このシナリオでは、同じ発言を共有するインテントはレビューに値する競合であるため、競合を無視することはできません。
この競合を解決する方法を決定するには、2 つのインテント名とそれらが共有する同一の発言を検討します。ラップトップを使用する可能性が高いインテントは、 本当に発話が遅い かを検討します。2つのインテント名をよく比較すると、本当に遅いラップトップは、動作しないラップトップと同じではないことに気付くかもしれません。しかし、本当に遅いノートパソコンは、確かにノートパソコンの問題です。したがって、この例のシナリオでは、インテントを深く掘り下げて、他の発言のコンテキストをスキャンすることにしました。
また、インテントで一意の発話を使用すると、どの発話がインテントに属するかをシステムがより正確に予測できるようになります。したがって、2 つのインテントのうち 1 つから発言を編集または削除する必要があります。このシナリオ例では、 #laptop_not_working インテントを掘り下げることにします。
6. laptop_not_workingを選択します。
[#laptop_not_working インテント] 画面が表示され、現在の 3 つの発言が表示されます。ラップトップを削除するという決定は、#laptop_not_workingインテントからの発言が本当に遅いです。
7. 「 この発言を削除 」ゴミ箱アイコンをクリックします。
[Confirm Delete] 画面が表示されます。
8. [削除]を選択します。
[削除を確認] 画面が消え、インテントからの発言が本当に 遅い ラップトップを削除したため、発言数が 3 から 2 に減少します。
9. [トレーニング] を選択します。
モデルが正常にトレーニングされたことを確認するバナーが [インテント] 画面に表示されます。
10. ナビゲーターで [競合レビュー ] を選択します。
結果 :
[ 競合レビュー ] リスト画面が表示され、競合レビュー分析が完了し、レビューされたことが示されます。