Détection d'anomalie

Les données de mesures sont collectées par diverses sources de données telles que SCOM, le système de surveillance SolarWinds ou le serveur Nagios XI (certaines partiellement configurées pour la collecte de mesures par défaut). Ces systèmes de surveillance collectent régulièrement des données métriques de l’environnement source. Analyse des mesures capture les données brutes de ces systèmes de surveillance et utilise les règles d’événements et le moteur d’identification CMDB pour mapper les données aux CI existants et à leurs ressources. Les données sont ensuite analysées pour détecter les anomalies et fournir d’autres scores statistiques.

Analyse des mesures utilise des données de mesures historiques pour créer des modèles statistiques. Ces modèles facilitent la projection des valeurs métriques attendues ainsi que des limites supérieures et inférieures. Analyse des mesures utilise ensuite ces projections pour détecter les valeurs aberrantes statistiques et calculer les scores des anomalies. Les anomalies sont notées dans une plage de 0 à 10. Les scores anormalement hauts pour les mesures CI peuvent indiquer qu’un CI risque de provoquer une interruption de service.

Après le traitement, l’Explorateur des connaissances affiche les statistiques et les graphiques des mesures, et la carte des anomalies affiche les scores corrélés des CI avec les scores d’anomalie les plus élevés, sur une chronologie.

Vous pouvez désactiver la détection d’anomalie pendant la maintenance du système, car les anomalies peuvent ne pas être pertinentes lorsqu’elles sont détectées pendant que la maintenance est en cours. Pour ce faire, définissez la mid.mi.anomaly_detection.disable propriété sur true.

Pour personnaliser l’affichage des anomalies pour les mesures classées comme quasi constantes, contactez l’assistance clientèle.

Analyse des mesures est disponible lorsque vous activez le module d’extension Analyse des mesures (com.snc.sa.metric).

Termes utilisés avec Analyse des mesures

Type de la mesure source

Une mesure telle que « % d’espace libre » ou « Bande passante actuelle » qui peut être mesurée par une source de données pour un CI. Pour chaque source de données, vous pouvez choisir lequel de tous les types de mesures sources possibles est traité. Par exemple, environ 380 types de mesures sources sont actifs par défaut pour la source de données SCOM.

Anomalie

Les données qui se trouvent en dehors des limites de contrôle sont considérées comme des valeurs aberrantes statistiques. Ces valeurs hors norme sont utilisées pour calculer un score d’anomalie, qui est une valeur comprise entre 0 et 10 indiquant le degré auquel la mesure semble peu probable. Lorsqu’un score d’anomalie est supérieur à un seuil, une alerte d’anomalie est générée. Les alertes d’anomalie sont signalées séparément des alertes informatiques habituelles.

Ressource

Composant d’un CI qui se compose de plusieurs composants individuels de type similaire, où chaque sous-composant peut être surveillé séparément. Par exemple, des pages Web individuelles ou des disques spécifiques tels que « Disque C : » et « Disque D : ».

Séries chronologiques

Série de valeurs (telles que des valeurs de mesures) sur une plage de temps, associées à un CI et à un type de mesure. Étant donné qu’un score d’anomalie est évalué pour chaque mesure, la série de scores d’anomalie sur une période donnée est également une série chronologique. Les séries chronologiques sont calculées par le modèle statistique créé pour une série de données de mesure et sont utilisées avec les valeurs de données de mesure, les scores d’anomalie et les limites de contrôle supérieure et inférieure.

Modèles statistiques

Les tâches Analyse des mesures apprennent à partir des données de mesures passées (jusqu’à 32 jours). Un processus d’entraînement de modèle analyse les données historiques pour construire un modèle qui projette les valeurs futures. En règle générale, les modèles sont en vigueur jusqu’à la prochaine exécution du processus d’apprentissage du modèle. Ces modèles sont utilisés pour calculer les limites supérieure et inférieure. Les valeurs entrantes qui dépassent ces limites et qui s’écartent avec une signification statistique des valeurs attendues génèrent des anomalies. Chaque modèle a un modèle unique et est étiqueté avec un classifieur qui illustre le comportement général du modèle. Cette classification détermine si la détection d’anomalie peut être appliquée. Pour la plupart des modèles, il est possible de prévoir quelles valeurs futures s’écartent des valeurs attendues. Ces modèles sont associés à des limites de contrôle et la détection des anomalies peut être appliquée (si activée).

Toutefois, pour certains modèles, les données sont insuffisantes pour déterminer quelles valeurs constituent anormales et la détection des anomalies ne peut pas être appliquée sans informations supplémentaires (même si la détection des anomalies est activée).

Les modèles de données appris sont stockés dans la table Modèles de séries chronologiques de mesures [sa_time_series].

Les modèles statistiques et classifieurs suivants sont utilisés pour la détection des anomalies :

Modèle statistique de séries chronologiques

Une fois établi, un modèle de série chronologique ne s’ajuste pas aux changements apportés aux données de mesure entrantes. Par conséquent, si le modèle des données entrantes change, ces changements sont susceptibles d’être identifiés comme anormaux. Les limites de contrôle supérieures et inférieures, une fois qu’elles ont été apprises, persistent jusqu’à la prochaine exécution du processus d’apprentissage (les données sont apprises tous les jours).

Hebdomadaire

Données avec un modèle qui se répète sur des intervalles hebdomadaires (modèle saisonnier).

Nécessite un minimum de 15 jours de données dans la série, tel que défini par le paramètre de configuration weekly_model_min_days .

Tous les jours

Données avec un modèle qui se répète sur un intervalle quotidien (modèle saisonnier).

Nécessite un minimum de 3 jours de données dans la série, tel que défini par le paramètre de configuration daily_model_min_days .

Tendance

Données ayant une tendance linéaire avec une certaine pente et un peu de bruit.

Nécessite un minimum de 30 points de données dans la série, tel que défini par le paramètre de configuration corrupt_data_count_threshold .

Bruyant

Données bruitées classiques qui constituent une classification de modèle de base dans un modèle de données. Le modèle ne peut pas être identifié avec une tendance ou une saisonnalité spécifique.

Nécessite un minimum de 30 points de données dans la série, tel que défini par le paramètre de configuration corrupt_data_count_threshold .

Positif écrêté bruyant

Similaire au classifieur bruyant autre que la limite inférieure fixée à 0.

Nécessite un minimum de 30 points de données dans la série, tel que défini par le paramètre de configuration corrupt_data_count_threshold .

Centré et bruyant

Données bruitées qui se répartissent généralement symétriquement entre les limites supérieure et inférieure spécifiées par l’utilisateur. La formule utilisée pour définir les limites et les valeurs de largeur ignore les données statistiques, et les largeurs inférieure et supérieure ont une valeur identique.

Exige que le nombre de points de données dans la série soit égal à zéro.

Pour récupérer les alertes pour les mesures avec ce modèle, créez des règles de mesures pour les définitions de limites statiques. Pour plus de détails, voir Créer des règles de mesures.

Bruyant asymétrique

Données bruitées qui ne sont pas réparties uniformément entre les limites supérieure et inférieure spécifiées par l’utilisateur, mais qui ont tendance à se concentrer plus près de l’une des limites. La médiane des données est utilisée pour calculer séparément une largeur supérieure et une largeur inférieure.

Nécessite au minimum un point de données dans la série.

Pour récupérer les alertes pour les mesures avec ce modèle, créez des règles de mesures pour les définitions de limites statiques. Pour plus de détails, voir Créer des règles de mesures.

Bruit asymétrique - Distribution de valeur extrême généralisée (GEV)

Données bruitées réparties de manière inégale entre les limites supérieure et inférieure spécifiées par l’utilisateur et concentrées plus près de l’une des limites. De plus, la distribution des données montre une queue longue ou lourde. La médiane des données dérivées de la queue de la distribution est utilisée pour calculer séparément une largeur supérieure et une largeur inférieure. Il doit y avoir au moins un point de données dans la série.

Accumulateur

Modèle de données similaire au classificateur à la mode mais avec une augmentation monotone et sans bruit. Pour ce classifieur, il n’existe aucun modèle de données ni aucune détection d’anomalie.

Nécessite un minimum de 30 points de données dans la série, tel que défini par le paramètre de configuration corrupt_data_count_threshold .

Presque constant

Données presque constantes, dans lesquelles la plupart des valeurs sont une valeur constante spécifique. Pour ce classifieur, il n’existe aucun modèle de données ni aucune détection d’anomalie.

Nécessite un minimum de 30 points de données dans la série, tel que défini par le paramètre de configuration corrupt_data_count_threshold .

Constante détectée

Permet de vérifier les anomalies dans des mesures quasi constantes. Pour ce faire, vous devez déplacer les mesures vers le modèle de constante détectée, via un jeton système. Pour ajouter des jetons à la liste de jetons et activer la mesure d’autres mesures pour les anomalies, contactez l’assistance clientèle.

Nécessite un minimum de 30 points de données dans la série, tel que défini par le paramètre de configuration corrupt_data_count_threshold .

Activé lorsque la propriété système metric_name_analysis.add_detected_constant_candidate est définie sur vrai. Pour remplacer la valeur de cette propriété pour un type de mesure spécifique, mettez à jour le champ Constante détectée candidate dans la table Types de mesures en procédant comme suit :

1. Entrez sa_metric_type.list dans le champ de navigation de l’instance.
2. Dans la colonne Constante détectée candidate , sélectionnez la valeur pertinente pour l’entrée que vous souhaitez mettre à jour.

   Tableau 1. Valeurs constantes détectées des candidats

   Valeur	Description
   <vide>	Un algorithme décide automatiquement si la mesure doit être prise en compte pour le modèle de constante détectée. Il s’agit de la valeur par défaut.
   Oui	La mesure est prise en compte pour le modèle de constante détectée.
   Non	La mesure n’est pas prise en compte pour le modèle de constante détectée.

Multinomial

Modèle de données dans lequel toutes les valeurs font partie d’un nombre relativement restreint de valeurs. Par exemple, les valeurs sont toujours 100 ou 99,9. Pour ce classifieur, il n’existe aucun modèle de données ni aucune détection d’anomalie.

Nécessite un minimum de 400 points de données dans la série, calculé comme 10 fois la valeur du paramètre de configuration multinomial_count_threshold .

Corrompu

Les données ne contiennent pas suffisamment de points de données pour identifier un schéma. Pour ce classifieur, il n’existe aucun modèle de données ni aucune détection d’anomalie.

Exige que le nombre de points de données dans la série soit inférieur à la valeur du paramètre de configuration corrupt_data_count_threshold (30 par défaut).

Modèle statistique du filtre de Kalman

Ajoutez au modèle statistique des séries chronologiques et ne s’applique qu’aux classificateurs bruyants et bruyants positifs. Ce modèle est une méthode générale d’estimation des paramètres d’un modèle à partir d’un flux de données où le niveau est le seul paramètre du modèle. Le modèle de filtre de Kalman peut s’adapter aux nouvelles valeurs des données de mesure entrantes. Lorsqu’il n’y a pas de motifs clairs dans le bruit ou s’il y a trop de bruit, le modèle du filtre de Kalman n’est pas utilisé.

Niveau local

Lorsque les données entrantes se regroupent autour d’une nouvelle valeur en fonction des limites de contrôle actuelles, l’apprenant ajuste le modèle de données pour s’adapter à un changement permanent. Cette mise en grappe est détectée comme une nouvelle valeur dans le modèle de données, de sorte que la plupart des données entrantes se trouvent à nouveau dans les limites de contrôle plutôt que de présenter une anomalie. Une telle détection des changements est utile lorsque, par exemple, des cœurs ou de la mémoire sont ajoutés à un serveur, ce qui a un impact sur les bases de référence.

Nécessite un minimum de 30 points de données dans la série, tel que défini par le paramètre de configuration corrupt_data_count_threshold .

Non reconnu

Lorsque les données ne correspondent pas au classifieur de niveau local, des classificateurs de séries chronologiques sont utilisés. Cela se produit lorsqu’il n’est pas possible d’ajuster le taux de variance dans un modèle de niveau local appris à des valeurs raisonnables.

Modèle statistique non paramétrique

Ajoutez au classifieur de bruit positif. Dans le modèle non paramétrique, la distribution du bruit n’est pas symétrique et ne correspond à aucun modèle saisonnier. Le modèle non paramétrique crée des limites de contrôle qui s’adaptent mieux aux données réelles et, une fois apprises, les limites de contrôle persistent jusqu’au cycle d’apprentissage suivant. Ce modèle ne s’ajuste pas aux changements dans les données et il faut plus de temps pour qu’un écart soit identifié comme une anomalie.

Stationnaire non paramétrique

Données qui ne dépendent pas du temps, ce qui signifie qu’il n’y a pas de changement significatif des paramètres tels que la moyenne et la variance lors du déplacement des données dans le temps.

Nécessite un minimum de 5 000 points de données dans la série, tel que défini par le paramètre de configuration snpm_minimum_data_count .

Non reconnu

Lorsque les données ne s’adaptent pas au classifieur stationnaire, des classificateurs de séries chronologiques sont utilisés.

Modèle statistique de l’écart absolu médian (MAD)

Module complémentaire au classifieur bruyant asymétrique. Dans ce type de données, la distribution du bruit n’est pas symétrique et ne correspond à aucun modèle saisonnier. De plus, les données reflètent une distribution à forte ou longue traîne. Le modèle statistique MAD crée des limites de contrôle qui s’adaptent mieux aux données, et une fois apprises, les limites de contrôle persistent jusqu’au cycle d’apprentissage suivant. L’utilisation de ce modèle améliore le déchiffrement de la collecte de données avec une efficacité supérieure d’environ 30 %.