Affiner la structure du type de source dans Analyse de l'intégrité des journaux
Affinez la façon dont Analyse de l'intégrité des journaux lit les messages de votre journal interne et détecte les anomalies en personnalisant les propriétés extraites dans la structure du type de source.
Avant de commencer
Pour une vue d’ensemble, reportez-vous à .Ajustement de la structure du type de source dans Analyse de l'intégrité des journaux
Rôle requis : evt_mgmt_admin
Procédure
- Accédez à la Tous > Analyse de l'intégrité des journaux > Entrées de données > Structure de type de source.
-
Ouvrez un enregistrement.
Remarque :
- Analyse de l'intégrité des journaux Sépare automatiquement l’en-tête de transport du message du journal interne lorsque l’extraction automatique est sélectionnée (par défaut).
- Analyse de l'intégrité des journaux extrait automatiquement les échantillons de journal la première fois que le formulaire Structure de type de source s’affiche. Au cours des sessions suivantes, récupérez les derniers échantillons en sélectionnant Actualiser les échantillons.
- Facultatif :
Obtenez des suggestions de classification et d’étiquetage optimisées par l’IA.
L’IA peut classer les propriétés de journal analysées et suggérer des étiquettes appropriées.
- Sélectionnez Suggérer des classifications (AI) dans la page Structure du type de source .
Sous l’onglet Mappage clé/valeur , les classifications et étiquettes suggérées par l’IA s’affichent dans les colonnes Classification suggérée par l’IA et Étiquette suggérée par l’IA .
- Examinez les suggestions.
- Dans Classification et étiquettes pour affecter des colonnes, sélectionnez vos classifications et étiquettes préférées dans les listes.
- Sélectionnez Suggérer des classifications (AI) dans la page Structure du type de source .
- Facultatif :
Voyez comment la fonction JavaScript actuelle affecte les lignes du journal.
- Ajoutez un exemple de message dans le champ d’exemple du manuel de test .
- Sélectionnez Go.
- Dans l’onglet Mappage clé/valeur , notez comment la fonction JavaScript affecte les lignes du journal.
-
Dans le champ Exemple d’entrée brute , choisissez un message du journal.
Lorsque vous testez votre fonction JavaScript, Analyse de l'intégrité des journaux utilisez cet exemple de message pour montrer l’effet conjoint de l’extraction automatique et de la fonction JavaScript sur les lignes de journal.
Les champs suivants sont en lecture seule :Champ Description Durée (en millisecondes) Durée de traitement de tous les échantillons, en millisecondes. Déposé Nombre total de journaux abandonnés dans tous les échantillons. Erreurs Nombre total d’erreurs survenues dans tous les échantillons. Échecs de l'extraction de l'horodatage Nombre d’échecs d’extraction de l’horodatage qui se sont produits dans tous les échantillons. Échecs de l'extraction de la gravité Nombre total d’échecs d’extraction de gravité qui se sont produits dans tous les échantillons. Échecs de l'extraction de messages Nombre total d’échecs d’extraction de messages survenus dans tous les échantillons. Propriétés très longues Nombre total de propriétés longues dans tous les échantillons. Les propriétés longues sont des propriétés de plus de 256 caractères.Remarque :Comme Analyse de l'intégrité des journaux n’extrait pas ces propriétés, elles ne sont pas indexées en tant que mots-clés dans Elasticsearch. -
Définissez une fonction JavaScript qui personnalise les propriétés extraites automatiquement ou ajoute des propriétés à la structure du type de source.
-
Dans la console JavaScript, modifiez la fonction JavaScript par défaut fournie, modifiez une fonction JavaScript personnalisée existante ou définissez-en une nouvelle.
Remarque :En plus de la fonction JavaScript par défaut, Analyse de l'intégrité des journaux fournit plusieurs modèles de fonction JS pour affiner la structure du type de source. Les modèles peuvent servir de point de départ pour votre code de script personnalisé. Cette fonctionnalité est prise en charge dans l’application, version Analyse de l'intégrité des journaux 20.0.11 : juillet 2021, disponible depuis le ServiceNow Store.
La fonction JavaScript permettant d’affiner la structure du type de source utilise les objets suivants :Modèles de fonction JS Description Extraire Key_Values à l’aide de Regex Script utilisé pour analyser les journaux dans une série de paires clé :valeur à l’aide d’expressions régulières pour identifier des schémas regex spécifiques. Selon les données de journal envoyées au type de source, il analyse soit le message interne, soit la ligne de journal complète. Vous pouvez voir comment les données apparaissent dans les exemples chargés dans la structure de type de source.
Ce processus est itératif. est répété jusqu’à ce que toutes les paires clé :valeur soient trouvées.
Extraire Key_Values à l’aide de split-regex Script utilisé pour analyser les journaux dans une série de paires clé :valeur à l’aide d’expressions régulières pour identifier des schémas regex spécifiques. Ce processus capture d’abord les valeurs dans un formulaire LIST, puis utilise la fonction de division Java pour créer les paires clé :valeur.
Selon la façon dont les données apparaissent dans l’entrée brute, cette fonction peut être plus efficace que
l’option Extraire Key_Values à l’aide de regex. L’entrée brute est soit le message interne transmis par la détection d’en-tête, soit le journal brut complet. Si la détection d’en-tête est désactivée ou ne fonctionne pas sur ce journal particulier, le journal brut complet est utilisé.Analyse JSON : aplatir Script utilisé pour extraire des informations JSON qui font partie d’une autre chaîne de texte à partir de l’entrée brute. Par exemple, l’information peut être une demande JSON écrite dans le cadre d’un message interne plus long. Les sections JSON internes sont difficiles à diviser. Dans de tels cas, ce script peut être utilisé pour « aplatir » ou analyser les paires clé :valeur.
Extraire un nouveau champ de l’entrée brute Script qui extrait un nouveau champ de l’entrée brute, à l’aide d’une expression régulière avec des groupes de capture pour identifier le nouveau modèle de champ. Analyser le format XML Script utilisé pour extraire les paires clé :valeur du fichier XML à l’aide d’une expression régulière pour identifier le format XML. Ce processus est itératif. Cette opération est répétée jusqu’à ce que toutes les paires clé :valeur soient trouvées.
Définir les niveaux de gravité numériques sous forme de valeurs textuelles Script utilisé pour convertir les valeurs de gravité numériques en leurs valeurs de gravité textuelle correspondantes. Remarque :Pour permettre au système d’identifier correctement le niveau de gravité d’un journal, la gravité doit être indiquée au format texte. Aucune valeur de gravité numérique ne doit être conservée.Fonction de découpage Script utilisé pour supprimer les guillemets doubles qui entourent la chaîne de VALUE. Vous pouvez adapter cette fonction pour supprimer tous les autres caractères qui entourent la VALEUR de sortie d’une paire clé :valeur.
Tableau 1. Signature : construction de la fonction (échantillon, sortie) Objet Description Exemple Message interne extrait de l’exemple de message. sortie Objet contenant la carte de paires clé-valeur. - Testez la fonction JavaScript en sélectionnant Test.
-
Affichez le résultat de la fonction JavaScript dans les listes connexes et modifiez-le si nécessaire.
- L’onglet Mappage clé/valeur affiche l’effet de votre fonction JavaScript combiné à l’extraction automatique du système sur votre échantillon d’entrée brut.
Modifiez les clés le cas échéant.
- Le champ Classification vous permet de réinitialiser la classification d’une propriété. Les types disponibles sont les suivants :
Tableau 2. Classification Type Description Exemple Compteur Une propriété avec cette classification détecte des anomalies dans le nombre d’apparitions de la propriété dans chaque message du journal. Il présente les changements de quantité de cette valeur dans le cadre de l’analyse automatique de la cause première. Remarque :Propriétés classifiées comme Ressources consommables par le compteur.Codes d’état, codes de réponse, actions ou schémas Jauge Une propriété avec cette classification détecte des anomalies dans une valeur numérique qui est signalée en continu. Remarque :Les propriétés avec une classification de Jauge consomment des ressources.Processeur, mémoire ou temps de réponse Jauge classique Une propriété avec cette classification détecte des anomalies dans une valeur numérique qui n’est pas signalée en continu. Le système signale toute anomalie de cette valeur, quel que soit le moment où l’anomalie s’est produite. Remarque :Cette fonctionnalité est prise en charge dans l’application, version Analyse de l'intégrité des journaux 20.0.11 : juillet 2021, disponible depuis le ServiceNow Store.Cause première automatique (ARC uniquement) Une propriété avec cette classification signale la propriété dans le cadre de l’analyse automatique de la cause première d’une autre anomalie et non comme une anomalie en soi. Nom d’utilisateur, adresses IP, composants d’application ou centre de données Non valide Une propriété avec cette classification n’est ni calculée ni affichée dans l’analyse automatique de la cause première. Remarque :Propriétés classifiées comme ressources d’enregistrement non valides. - Le champ Étiquettes à affecter vous permet de définir une propriété sur une étiquette.
Tableau 3. Étiquettes à affecter Étiquette Description Horodatage Propriété qui contient l’horodatage de l’événement. Remarque :Si la détection automatique des propriétés d’en-tête est activée et que le type de source n’a pas d’horodatage, le système extrait l’horodatage de l’en-tête de transport. Si la détection d’en-tête est désactivée ou ne fonctionne pas pour les lignes de journal pertinentes dans l’entrée de données, toutes les lignes de journal doivent avoir des horodatages appropriés.Gravité Propriété qui représente le niveau de gravité du journal. Message Message du journal. Le système utilise cette propriété pour identifier les modèles textuels dans les données. Hôte Propriété qui représente l’hôte à partir duquel l’événement a été envoyé. Remarque :Si la détection automatique des propriétés d’en-tête est activée et que le type de source n’a pas d’hôte, le système extrait l’hôte de l’en-tête de transport. Si la détection d’en-tête est désactivée ou ne fonctionne pas pour les lignes de journal pertinentes dans l’entrée de données, toutes les lignes de journal doivent avoir un hôte.ID externe Propriété qui sert d’identificateur unique pour ce type d’événement. Par exemple, l’ID d’événement dans le journal des événements Windows. - Le champ Renommer la clé vous permet de renommer la clé.
- Le champ Classification vous permet de réinitialiser la classification d’une propriété. Les types disponibles sont les suivants :
- L’onglet Clé-valeur du résultat indique comment votre fonction JavaScript a traité les données.
- L’onglet Mappages d’entrées de données affiche les mappages d’entrée de données pour le type de source actuel.
La colonne Heure du dernier événement de cet onglet affiche la date et l’heure auxquelles le moteur AI a traité un journal pour le mappage d’entrée de données pour la dernière fois. Le système actualise ces informations toutes les cinq minutes. Connaître la date du dernier traitement du dernier journal pour ce mappage d’entrée de données facilite la vérification de la diffusion des données du journal.
- Les onglets restants affichent les erreurs, les échecs d’extraction de messages, les échecs d’extraction de gravité, les échecs d’extraction d’horodatage et les propriétés longues.
Remarque :Si votre nouvelle fonction JavaScript ne se comporte pas comme prévu, vous pouvez revenir à la dernière fonction publiée en sélectionnant le lien connexe Rétablir la fonction JS . - L’onglet Mappage clé/valeur affiche l’effet de votre fonction JavaScript combiné à l’extraction automatique du système sur votre échantillon d’entrée brut.
- Facultatif : Effectuez les ajustements nécessaires, puis testez à nouveau la fonction JavaScript.
-
Dans la console JavaScript, modifiez la fonction JavaScript par défaut fournie, modifiez une fonction JavaScript personnalisée existante ou définissez-en une nouvelle.
-
Sélectionnez l’option Enregistrer le modèle pour enregistrer la fonction JavaScript.
Vous pouvez enregistrer la fonction JavaScript en tant que nouveau modèle ou remplacer le modèle actuellement sélectionné.
- Pour enregistrer la fonction JavaScript en tant que nouveau modèle, saisissez un nouveau nom dans le champ Nom du modèle .
- Pour remplacer le modèle actuellement sélectionné dans le champ Modèles de fonction JS , laissez le champ Nom du modèle vide.
- Sélectionnez Publier pour enregistrer la fonction JavaScript dans la base de données.
Résultats
Le nouveau script est automatiquement ajouté à la liste des modèles de fonction JS parmi lesquels vous pouvez choisir. Cette fonctionnalité est prise en charge dans l’application, version Analyse de l'intégrité des journaux 20.0.11 : juillet 2021, disponible depuis le ServiceNow Store.
Que faire ensuite
Poursuivez avec les tâches de configuration d’entrée de données restantes : Vérifiez que toutes vos sources de journal sont présentes et actives, et ajoutez des formats d’horodatage si nécessaire.