Définition des valeurs des mesures de classification au niveau de la classe ou de la solution

Intelligence prédictive fournit trois types de mesures de classification : précision, couverture et rappel. Vous configurez ces mesures dans l’onglet Statistiques de la solution d’un formulaire de solution de classification formée. Bien que vous puissiez définir manuellement des valeurs pour ces mesures au niveau de la classe, cela peut être difficile si vous avez un grand nombre de classes à couvrir. Dans de nombreux cas, il se peut que vous ne sachiez pas quelle est la meilleure valeur à définir tant que votre solution n’est pas formée. Cette rubrique se concentre sur la définition des valeurs de mesures uniquement au niveau de la solution.

Configuration des mesures de la solution

Lorsque vous appliquez une valeur à une mesure, cela modifie les valeurs des deux autres. Ce comportement vous permet de modifier vos mesures itérativement en temps réel pour voir quelles combinaisons de valeurs rendent des résultats particuliers. Lorsque vous appliquez une nouvelle valeur à une mesure, le système la recalcule en tenant compte de ses nouvelles cibles.

L’application d’une valeur à une mesure demande au système d’entraîner ses prédictions pour favoriser la mesure que vous définissez en fonction de la valeur de pourcentage la plus élevée, et cela au détriment des autres mesures. Le système essaie de répondre à ces valeurs, mais peut ne pas les définir exactement comme vous le demandez en raison de la façon dont les données que vous entraînez sont distribuées.

Lorsque vous appliquez des valeurs métriques au niveau de la solution, le système définit automatiquement les valeurs appropriées au niveau de la classe.

Voici un exemple de page de destination pour une solution de classification récemment formée. Comme vous pouvez le voir, la mesure de précision est de 44,18, le rappel est de 41,26 et la couverture est de 77,23.

Si vous devez ajuster ces valeurs par défaut pour un cas d’utilisation, consultez les exemples de configuration ci-dessous. Par exemple, en fonction de la solution de classification que vous implémentez, vous souhaiterez peut-être modifier la valeur métrique cible pour la précision, le rappel ou la couverture. Gardez à l’esprit que lorsque vous modifiez la valeur de mesure cible d’une mesure, telle que la précision, cela a également un impact sur les valeurs des mesures de rappel et de couverture.

Exemple de configuration de la précision

Dans cet exemple de scénario, vous remplacez un processus de triage manuel pour acheminer les enregistrements d’incidents par une solution de classification ML qui affecte automatiquement les enregistrements au bon groupe d’affectation. Pour ce scénario, vous avez une valeur cible en tête et le système doit prévoir correctement au moins 80 % du temps. Vous définissez donc la valeur de la mesure de précision sur 80 et cliquez sur Appliquer les valeurs.

Voici les valeurs de mesures que le système a appliquées à la solution. Dans ce scénario, la valeur de précision de 80,04 a légèrement dépassé votre demande de 80 %, vous êtes donc probablement satisfait de cette valeur.

Exemple de configuration de la couverture

Dans un autre exemple de scénario où vous remplacez un processus de triage manuel pour acheminer les enregistrements d’incidents, votre objectif minimum est de prédire au moins 70 % des incidents entrants au cours du premier trimestre de l’année. Vous définissez donc la valeur métrique de couverture sur 70 et cliquez sur Appliquer les valeurs.

Les valeurs de mesures que le système a appliquées à la solution sont illustrées dans l’image suivante. La valeur de la mesure de couverture est passée de 35,99 à 55,98. Cependant, la mesure de précision est passée de 80,18 à 64,97. Cela peut être dû au fait que vous définissez la mesure de couverture sur une valeur relativement élevée de 70, ou peut-être à la façon dont les données que vous formez sont distribuées.

Exemple de configuration de rappel

Dans un autre scénario, classer si un e-mail entrant est un hameçonnage ou non peut être un cas d’utilisation important dans une solution d’apprentissage machine liée à la sécurité. Dans cette situation, il est très important d’identifier chaque hameçonnage, et il peut être acceptable de signaler occasionnellement un non-hameçonnage comme hameçonnage. Cependant, aucun véritable hameçonnage ne doit être classé comme un non-hameçonnage. Dans de telles situations, la mesure de rappel doit avoir une valeur élevée, ce qui peut entraîner des pourcentages inférieurs pour la précision et la couverture. Ici, vous pouvez définir la mesure de rappel sur 95 et cliquer sur Appliquer les valeurs.

Voici les valeurs de mesures que le système a appliquées à la solution. La valeur métrique des rappels est passée de 54,87 à 61,03. Cependant, la mesure de précision est passée de 60,1 à 55,44. Cela est probablement dû au fait que vous avez défini la mesure de rappel sur la valeur élevée de 95.

Résultats au niveau de la classe pour les valeurs de mesures de la solution que vous appliquez à votre solution

L’image suivante montre un exemple des résultats au niveau de la classe que le système a appliqués aux statistiques de précision, de couverture et de rappel d’une solution pour 37 classes. Vous pouvez continuer à modifier les valeurs des mesures jusqu’à ce que vous soyez entièrement satisfait des résultats.

En triant (z à a) sur la colonne Précision estimée, vous pouvez voir quelles classes ont la précision la plus élevée pour la solution.