トレーニング済み分類ソリューションのターゲットメトリクスの構成
トレーニング済み機械学習ソリューションの精度、範囲、再現率の統計量の値を設定します。
クラスまたはソリューションレベルでの分類メトリクス値の設定
予測インテリジェンス には、精度、範囲、再現率の 3 つの分類メトリクスタイプがあります。これらのメトリクスは、トレーニング済み分類ソリューションフォームの [ソリューション統計情報] タブで設定します。これらのメトリクスに手動で値をクラスレベルで設定することはできますが、カバーするクラスが多数ある場合は、手動で設定が困難になることがあります。多くの場合、ソリューションがトレーニングされるまで、設定する最適な値がわからないことがあります。このトピックでは、ソリューションレベルのみでのメトリクス値の設定に焦点を当てます。
ソリューションメトリクスの設定
1 つのメトリクスに値を適用すると、他の 2 つのメトリクスの値も変更されます。この動作により、メトリクスをリアルタイムで繰り返し変更して、どの値の組み合わせが特定の結果を表示するかを確認できます。メトリクスに新しい値を適用すると、新しいターゲットを考慮してメトリクスが再計算されます。
メトリクスに値を適用すると、システムは、最高のパーセンテージ値に基づいて設定したメトリクスを優先するように予測をトレーニングし、他のメトリクスに対してコストがかかります。システムはこれらの値を満たすようにしますが、トレーニングしているデータの分散方法により、要求どおりに正確に設定されない場合があります。
ソリューションレベルでメトリクス値を適用すると、クラスレベルで適切な値が自動的に設定されます。
- トレーニング済み ML ソリューションの [ソリューション統計情報] タブに移動します。
- 各メトリクスを定義する画面の緑色のバナーのメッセージを確認して、ソリューションに割り当てる値をよく理解できるようにします。最初の 2 つのメッセージバナーは、推定されるソリューションレベルのメトリクスに対応しています。3 番目のバナーは、適用したソリューション値に基づくクラスレベルの結果に対応しています。
- [ ターゲットメトリクス ] 選択リストで、構成するメトリクスを選択します。
- [ ターゲットメトリクス値 ] フィールドに、0 〜 100 のパーセンタイル数値を入力します。
- [ 値を適用] をクリックします。
- 結果: [ソリューション統計情報] タブで、[ 推定ソリューション精度]、[ 推定ソリューションの再現率]、および [推定ソリューション カバレッジ] の値の変更を確認できます。選択した ターゲットメトリクス とソリューションに入力した ターゲットメトリクス値 に基づいて、これらの値が計算されます。
最近トレーニングされた分類ソリューションのランディングページのサンプルを次に示します。このように、精度指標は 44.18、再現率は 41.26、範囲は 77.23 です。
ユースケースに合わせてこれらのデフォルト値を調整する必要がある場合は、以下の構成例を参照してください。たとえば、実装している分類ソリューションに基づいて、精度、再現率、または範囲のターゲットメトリクス値を変更できます。精度などの 1 つのメトリクスのターゲットメトリクス値を変更すると、再現率メトリクスとカバレッジメトリクスの値にも影響することに注意してください。
精度構成の例
この例のシナリオでは、インシデントレコードをルーティングするための手動トリアージプロセスを、レコードを正しいアサイン先グループに自動的にアサインする ML 分類ソリューションに置き換えます。このシナリオでは、ターゲット値を念頭に置いていて、システムが少なくとも 80% の確率で正しく予測する必要があります。したがって、精度メトリクスの値を 80 に設定し、[ 値の適用] をクリックします。
ソリューションに適用されたメトリクス値は次のとおりです。このシナリオでは、精度値 80.04 が要求の 80% をわずかに上回っているため、この値で問題ない可能性があります。
範囲構成の例
インシデントレコードをルーティングするための手動トリアージプロセスを置き換える別のシナリオの例では、最小目標は、その年の第 1 四半期に受信インシデントの少なくとも 70% を予測することです。そのため、範囲メトリクスの値を 70 に設定し、[ 値を適用] をクリックします。
システムがソリューションに適用したメトリクス値を次の画像に示します。カバレッジメトリクスの値が 35.99 から 55.98 に増加しました。ただし、精度指標は 80.18 から 64.97 に低下しました。これは、対象範囲メトリクスを比較的高い値 70 に設定したか、トレーニングしているデータの分散方法が原因である可能性があります。
取り消し構成例
別のシナリオでは、受信メールがフィッシングであるかどうかを分類することが、セキュリティ関連の機械学習ソリューションの重要なユースケースになる可能性があります。このような状況では、すべてのフィッシングを特定することが非常に重要です。時々、フィッシング以外のものをフィッシングとして報告しても問題ない場合があります。ただし、本物のフィッシングを非フィッシングとして分類することはできません。このような状況では、再現率メトリクスを高い値にする必要があります。これにより、精度と範囲の割合が低くなる可能性があります。ここでは、再現率測定基準を 95 に設定し、[ 値を適用]をクリックします。
ソリューションに適用されたメトリクス値は次のとおりです。再現率メトリクスの値が 54.87 から 61.03 に増加しました。ただし、精度指標は 60.1 から 55.44 に減少しました。これは、再現率メトリクスを高い値の 95 に設定したことが原因である可能性があります。
ソリューションに適用するソリューションメトリクス値のクラスレベルの結果
次の画像は、37 クラスのソリューションの精度、範囲、再現率の統計情報に適用されたクラスレベルの結果の例を示しています。結果に完全に満足するまで、メトリクス値を変更し続けることができます。
[推定精度] 列でソート (z から a) することで、ソリューションの精度が最も高いクラスを確認できます。