Définition des valeurs de mesure de classification au niveau de la classe ou de la solution

Intelligence prédictive Fournit trois types de mesures de classification : Précision, Couverture et Rappel. Vous configurez ces mesures dans l’onglet Statistiques de solution d’un formulaire de solution de classification formé. Bien que vous puissiez définir manuellement des valeurs pour ces mesures au niveau de la classe, cela peut être difficile si vous avez un grand nombre de classes à couvrir. Dans de nombreux cas, vous ne connaissez peut-être pas la meilleure valeur à définir tant que votre solution n’est pas formée. Cette rubrique se concentre sur la définition des valeurs de mesure uniquement au niveau de la solution.

Configuration des mesures de la solution

Lorsque vous appliquez une valeur à une mesure, elle modifie les valeurs des deux autres. Ce comportement vous permet de modifier vos mesures de façon itérative en temps réel pour voir quelles combinaisons de valeurs donnent des résultats particuliers. Lorsque vous appliquez une nouvelle valeur à une mesure, le système la recalcule en tenant compte de ses nouvelles cibles.

L’application d’une valeur à une mesure demande au système d’entraîner ses prédictions pour favoriser la mesure que vous définissez en fonction de la valeur de pourcentage la plus élevée, et à un coût pour les autres mesures. Le système tente de respecter ces valeurs, mais il se peut que ce ne soit pas exactement comme vous le demandez en raison de la façon dont les données que vous formez sont distribuées.

Lorsque vous appliquez des valeurs de mesures au niveau de la solution, le système définit automatiquement les valeurs appropriées au niveau de la classe.

Voici un exemple de page de destination pour une solution de classification récemment formée. Comme vous pouvez le voir, la mesure de précision est de 44,18, le rappel est de 41,26 et la couverture est de 77,23.

Si vous devez ajuster ces valeurs par défaut pour un cas d’utilisation, reportez-vous aux exemples de configuration ci-dessous. Par exemple, en fonction de la solution de classification que vous implémentez, vous souhaiterez peut-être modifier la valeur métrique cible pour des raisons de précision, de rappel ou de couverture. Gardez à l’esprit que lorsque vous modifiez la valeur de mesure cible d’une mesure, telle que la précision, cela a également un impact sur les valeurs des mesures de rappel et de couverture.

Exemple de configuration de la précision

Dans cet exemple, vous remplacez un processus de triage manuel pour l’acheminement des enregistrements d’incidents par une solution de classification ML qui affecte automatiquement les enregistrements au groupe d’affectation correct. Pour ce scénario, vous avez une valeur cible en tête et le système doit prévoir correctement au moins 80 % du temps. Vous réglez donc la valeur de la mesure de précision sur 80 et cliquez sur Appliquer les valeurs.

Voici les valeurs métriques que le système a appliquées à la solution. Dans ce scénario, la valeur de précision de 80,04 a légèrement dépassé votre demande de 80 %, vous êtes donc probablement satisfait de cette valeur.

Exemple de configuration de la couverture

Dans un autre exemple de scénario où vous remplacez un processus de triage manuel pour acheminer les enregistrements d’incidents, votre objectif minimum est de prédire au moins 70 % des incidents entrants au cours du premier trimestre de l’année. Vous réglez donc la valeur de la mesure de couverture sur 70 et cliquez sur Appliquer les valeurs.

Les valeurs métriques que le système a appliquées à la solution sont affichées dans l’image suivante. La valeur de la mesure de couverture est passée de 35,99 à 55,98. Cependant, la mesure de précision est passée de 80,18 à 64,97. Cela peut être dû au fait que vous avez défini la mesure de couverture sur une valeur relativement élevée de 70 ou à la façon dont les données que vous formez sont distribuées.

Exemple de configuration du rappel

Dans un autre scénario, la classification si un e-mail entrant est un hameçonnage ou non peut être un cas d’utilisation important dans une solution de machine learning liée à la sécurité. Dans cette situation, il est très important d’identifier chaque hameçonnage, et il peut être acceptable de signaler occasionnellement un non-hameçonnage comme hameçonnage. Cependant, aucun véritable Phish ne doit être classé comme un non-Phish. Dans de telles situations, la mesure de rappel doit avoir une valeur élevée, ce qui peut entraîner des pourcentages de précision et de couverture inférieurs. Vous pouvez donc définir la mesure de rappel sur 95 et cliquer sur Appliquer les valeurs.

Voici les valeurs métriques que le système a appliquées à la solution. La valeur de la mesure de rappel est passée de 54,87 à 61,03. Cependant, la mesure de précision est passée de 60,1 à 55,44. Cela est probablement dû au fait que vous avez défini la mesure de rappel sur la valeur élevée de 95.

Résultats au niveau de la classe pour les valeurs métriques de solution que vous appliquez à votre solution

L’image suivante montre un exemple des résultats au niveau des classes que le système a appliqués à la précision, à la couverture et aux statistiques de rappel d’une solution pour 37 classes. Vous pouvez continuer à modifier les valeurs de mesure jusqu’à ce que vous soyez entièrement satisfait des résultats.

En triant (z à a) dans la colonne Précision estimée, vous pouvez voir quelles classes ont la plus grande précision pour la solution.