使用方法の概要

デフォルトでは、 イシュー自動解決 調整 NLU ワークベンチ すると精度が最適化されます。ビジネス要件に応じて、他の目標に合わせてモデルを調整することもできます。問題の自動解決調整の 分析 ステップでは、調整目標リストを使用して、 精度、 自動化、または バランスを調整できます。これらのオプションのいずれかを選択すると、それに応じて予測される マッチ率 と IAR カバー率 が変更されるため、考えられる結果を比較できます。

チューニングのIAR分析ステップにアクセスするには、nlu_admin ロールを使用し、次のように移動します。

1. 移動先 すべて > NLU ワークベンチ > モデル.
2. タブを選択し イシュー自動解決 、モデル名を選択します。チューニング エクスペリエンスで最初にステップ 1 (フィードバック) が開きます。
3. フィードバックを提供し、 [ 分析] ボタンを選択します。ステップ 2 (分析) が開きます。
4. [ 調整オプションと予測結果は次のとおりです] セクションで、 [ 精度、自動化、またはバランスのために調整できます] の一覧を使用して、オプションを選択して予測されるシナリオを確認します。[ 目標の調整について学習 する] リンクを選択して、次のウィンドウを開くこともできます。

精度

精度のために調整すると、 IAR モデルは信頼度が比較的高い場合にのみ予測を行います。これにより、エラー率は低下しますが、解決されるインシデントも少なくなります。

精度は ITSM モデルに IAR 推奨される調整オプションであるため、このオプションがデフォルトで選択されています。

自動化

自動化用に調整すると、 IAR モデルはより低い信頼度しきい値で予測を行います。これにより、より多くの予測が得られるため、より多くのインシデントが解決されます。ただし、エラー率が高くなる可能性があります。

残額

バランスを取るように調整すると、 IAR モデルは精度と自動化のバランスを取ろうとします。

マッチ率

一致率は、インテントが正しく予測されたインシデントの数を、そのインテントの予測数で割って定義されます。この比率は、 NO_INTENTを除くすべてのインテントで平均化されます。

IAR カバレッジ

対象範囲は、モデルが信頼度しきい値を超える予測を行ったために解決されるインシデントの割合として定義されます。予測にはいくつかのエラーが含まれる場合があります。

チューニング・オプションの使用

いくつかの異なる調整オプションを選択して、予測結果を比較します。選択したオプションに応じて、予測マッチ率と IAR カバー率のシナリオが表示されます。また、選択に応じてこれらのレートがどの程度変化するかも表示されます。

「分析」の 「詳細な内訳はこちら」 セクションで詳細情報を確認してください。ここでは、モデル内の各インテントに固有の結果にドリルダウンできます。

インテントは、トピックに 仮想エージェント マップされているかどうかに応じて、マップされたインテントとマップされていないインテントにグループ化されることに注意してください。チューニングで IAR フィードバックを提供した後、インテントからトピックへのマッピングをアクティブ化することができます。これを行うには、 [マップされていないインテントを表示] を展開し、 [ その他のインテントをマップする ] ボタンを選択します。これにより、 IAR 管理コンソールが開きます。

要件に最適なチューニング オプションを決定したら、 [チューニング目標について学習する] ウィンドウで [選択の保存] ボタンを選択します。次に、 [ モデルの調整と発行 ] ボタンを選択して、次の手順に進みます。