Affiner la structure du type de source

  • Rversion finale: Yokohama
  • Mis à jour 30 janv. 2025
  • 8 minutes de lecture

    • Affinez la façon dont Analyse de l'intégrité des journaux lit vos messages de journal interne et détecte les anomalies en personnalisant les propriétés extraites dans la structure du type de source.

    Avant de commencer

    Rôle requis : evt_mgmt_admin

    Procédure

    1. Accédez à la Tout > Analyse de l'intégrité des journaux > Entrées de données > Structure de type de source.
    2. Ouvrez un enregistrement.
      Remarque :
      • Par défaut, Extraction automatique est sélectionnée afin que Analyse de l'intégrité des journaux sépare automatiquement l'en-tête de transport du message de journal interne.
      • La première fois que le formulaire Structure du type de source s'affiche, Analyse de l'intégrité des journaux récupère automatiquement les exemples de journal. Dans les sessions suivantes, extrayez les exemples les plus récents en sélectionnant Actualiser les exemples.
    3. Facultatif : Observez la façon dont la fonction JavaScript actuelle affecte les lignes de journal.
      1. Ajoutez un exemple de message dans le champ Exemple manuel de test.
      2. Sélectionnez Aller.
      3. Dans l'onglet Mappage clé/valeur, observez la façon dont la fonction JavaScript affecte les lignes de journal.
    4. Dans le champ Exemple d'entrée brute, choisissez un message de journal.

      Lorsque vous testez votre fonction JavaScript, Analyse de l'intégrité des journaux utilise cet exemple de message pour afficher l'effet conjoint de l'extraction automatique et de la fonction JavaScript sur les lignes de journal.

      Les champs suivants sont en lecture seule :
      Champ Description
      Durée (en millisecondes) Durée de traitement de tous les exemples, en millisecondes.
      Abandonné Le nombre total de journaux abandonnés dans tous les exemples.
      Erreurs Nombre total d'erreurs qui se sont produites dans tous les exemples.
      Échecs de l'extraction de l'horodatage Nombre d'échecs d'extraction des horodatages qui se sont produits dans tous les exemples.
      Échecs de l'extraction de la gravité Nombre total d'échecs d'extraction de la gravité qui se sont produits dans tous les exemples.
      Échecs d'extraction de messages Nombre total d'échecs d'extraction de messages qui se sont produits dans tous les exemples.
      Propriétés très longues Nombre total de propriétés très longues dans tous les exemples.
      Les propriétés très longues sont des propriétés avec plus de 256 caractères.
      Remarque :
      Étant donné que Analyse de l'intégrité des journaux n'extrait pas ces propriétés, elles ne sont pas indexées en tant que mots clés dans Elasticsearch.
    5. Définissez une fonction JavaScript qui personnalise les propriétés extraites automatiquement ou ajoute des propriétés à la structure du type de source.
      1. Dans la console JavaScript, vous pouvez modifier la fonction JavaScript par défaut fournie, modifier une fonction JavaScript personnalisée existante ou bien en définir une nouvelle.
        Remarque :
        En plus de la fonction JavaScript par défaut, Analyse de l'intégrité des journaux fournit plusieurs modèles de fonction JS pour affiner la structure du type de source. Les modèles peuvent servir de point de départ pour votre code de script personnalisé. Cette fonctionnalité est prise en charge dans l'application Analyse de l'intégrité des journaux, Version 20.0.11 - July 2021, disponible dans le ServiceNow Store.
        Modèles de fonctions JS Description
        Extraire clé_valeurs à l'aide d'une regex

        Script utilisé pour analyser les journaux dans une série de paires clé:valeur à l'aide d'expressions régulières pour identifier des modèles de regex spécifiques. Selon les données de journal envoyées au type de source, il analyse soit le message interne, soit la ligne de journal complète. Vous pouvez voir comment les données apparaissent dans les exemples chargés dans la structure du type de source.

        Ce processus est itératif ; il est répété jusqu'à ce que toutes les paires clé:valeur soient trouvées.
        Extraire clé_valeurs à l'aide de split-regex

        Script utilisé pour analyser les journaux dans une série de paires clé:valeur à l'aide d'expressions régulières pour identifier des modèles de regex spécifiques. Ce processus capture d'abord les valeurs dans un formulaire LIST, puis utilise la fonction split de Java pour créer les paires clé:valeur.

        Selon la façon dont les données apparaissent dans l'entrée brute, cette fonction peut être plus efficace que Extraire clé_valeurs à l'aide d'une regex. L'entrée brute est soit le message interne que la détection d'en-tête diffuse, soit le journal brut complet si la détection d'en-tête est désactivée ou ne fonctionne pas sur ce journal particulier.
        Analyse JSON - aplatir Script utilisé pour extraire des informations JSON qui font partie d'une autre chaîne de texte à partir de l'entrée brute. Par exemple, les informations peuvent être une demande JSON écrite dans le cadre d'un message interne plus long.

        Les sections JSON internes sont difficiles à diviser. Dans de tels cas, ce script peut être utilisé pour « aplatir » ou analyser les paires clé:valeur.
        Extraire un nouveau champ à partir de l'entrée brute Script utilisé pour extraire un nouveau champ de l'entrée brute à l'aide d'une expression régulière avec des groupes de capture pour identifier le modèle du nouveau champ.
        Analyser le format XML Script utilisé pour extraire les paires clé:valeur du XML à l'aide d'une expression régulière pour identifier le format XML.

        Ce processus est itératif ; il est répété jusqu'à ce que toutes les paires clé:valeur soient trouvées.
        Définir le niveau de gravité numérique en tant que valeurs textuelles Script utilisé pour convertir les valeurs de gravité numérique en valeurs de gravité textuelles correspondantes.
        Remarque :
        Pour permettre au système d'identifier correctement le niveau de gravité d'un journal, la gravité doit être indiquée au format texte. Aucune valeur de gravité numérique ne doit rester.
        Fonction de découpage Script utilisé pour supprimer les guillemets qui entourent la chaîne VALEUR.

        Vous pouvez adapter cette fonction pour supprimer tous les autres caractères qui entourent la VALEUR de sortie d'une paire clé:valeur.
        La fonction JavaScript pour affiner la structure du type de source utilise les objets suivants :
        Tableau 1. Signature : construction de fonction (exemple, sortie)
        Objet Description
        sample Message interne extrait de l'exemple de message.
        output Objet qui contient la carte de paire clé-valeur.
      2. Testez la fonction JavaScript en sélectionnant Test.
      3. Affichez le résultat de la fonction JavaScript dans les listes connexes et apportez des modifications si nécessaire.
        • L'onglet Mappage clé/valeur affiche l'effet de votre fonction JavaScript combiné à l'extraction automatique du système sur votre exemple d'entrée brute.

          Vous pouvez modifier les clés le cas échéant.

          • Le champ Classification vous permet de réinitialiser la classification d'une propriété. Les types disponibles sont les suivants :
            Type Description Exemple
            Compteur Une propriété dotée de cette classification détecte les anomalies du nombre de fois où la propriété apparaît dans chaque message de journal. Il présente les changements apportés à la quantité de cette valeur dans le cadre de l'analyse automatique de la cause première.
            Remarque :
            Les propriétés classées comme Compteur consomment des ressources.
            		 Codes d'état, codes de réponses, actions ou modèles
            Jauge Une propriété dotée de cette classification détecte les anomalies d'une valeur numérique qui est communiquée en continu.
            Remarque :
            Les propriétés dotées d'une classification Jauge consomment des ressources.
            		 Processeur, mémoire ou délai de réponse
            Jauge classique Une propriété dotée de cette classification détecte les anomalies d'une valeur numérique qui n'est pas communiquée en continu. Le système informe sur une anomalie dans cette valeur, peu importe quand l'anomalie s'est produite.
            Remarque :
            Cette fonctionnalité est prise en charge dans l'application Analyse de l'intégrité des journaux, Version 20.0.11 - July 2021, disponible dans le ServiceNow Store.
            Cause première automatique (ARC uniquement) Une propriété dotée de cette classification signale la propriété comme faisant partie de l'analyse automatique de la cause première d'une autre anomalie, et non pas comme une anomalie seule. Nom d'utilisateur, adresses IP, composants d'application ou centre de données
            Non valide Une propriété dotée de cette classification n'est pas calculée ou affichée dans l'analyse automatique de la cause première.
            Remarque :
            Les propriétés classées comme Non valide enregistrent les ressources.
          • Le champ Étiquettes à affecter vous permet de définir une propriété sur une étiquette.
            Étiquette Description
            Horodatage Propriété qui contient l'horodatage de l'événement.
            Remarque :
            Si la détection automatique des propriétés d'en-tête est activée et que le type de source n'a pas d'horodatage, le système extrait l'horodatage de l'en-tête de transport. Si la détection d'en-tête est désactivée ou ne fonctionne pas pour les lignes de journal pertinentes dans l'entrée de données, toutes les lignes de journal doivent avoir des horodatages appropriés.
            Sévérité Propriété qui représente le niveau de gravité du journal.
            Message Le message du journal. Le système utilise cette propriété pour identifier les modèles textuels dans les données.
            Hôte Propriété qui représente l'hôte à partir duquel l'événement a été envoyé.
            Remarque :
            Si la détection automatique des propriétés d'en-tête est activée et que le type de source n'a pas d'hôte, le système extrait l'hôte de l'en-tête de transport. Si la détection d'en-tête est désactivée ou ne fonctionne pas pour les lignes de journal pertinentes dans l'entrée de données, toutes les lignes de journal doivent avoir un hôte.
            ID externe Propriété qui sert d'identificateur unique pour ce type d'événement. Par exemple, ID d'événement dans le journal des événements Windows.
          • Le champ Renommer la clé vous permet de renommer la clé.
        • L'onglet Clé des résultats/Valeur montre comment votre fonction JavaScript a traité les données.
        • L’onglet Mappages d’entrées de données affiche les mappages d’entrée de données pour le type de source actuel.

          La colonne Heure du dernier événement de cet onglet affiche la date et l’heure auxquelles le moteur AI a traité un journal pour le mappage d’entrée de données. Le système actualise ces informations toutes les 5 minutes. Connaître la date du dernier journal traité pour ce mappage d’entrée de données facilite la vérification que les données de journal sont diffusées.

        • Les onglets restants affichent les erreurs, les échecs d'extraction de message, les échecs d'extraction de gravité, les échecs d'extraction d'horodatage et les très longues propriétés.
        Remarque :
        Si votre nouvelle fonction JavaScript ne se comporte pas comme prévu, vous pouvez revenir à la dernière publication en sélectionnant le lien connexe Rétablir la fonction JS.
      4. Facultatif : Effectuez les réglages nécessaires, puis testez à nouveau la fonction JavaScript.
    6. Sélectionnez l'option Enregistrer le modèle pour enregistrer la fonction JavaScript.
      Vous pouvez enregistrer la fonction JavaScript en tant que nouveau modèle ou remplacer le modèle actuellement sélectionné.
      • Pour enregistrer la fonction JavaScript en tant que nouveau modèle, saisissez un nouveau nom dans le champ Nom du modèle.
      • Pour remplacer le modèle actuellement sélectionné dans le champ Modèles de fonction JS, laissez le champ Nom du modèle vide.
    7. Sélectionnez Publier pour enregistrer la fonction JavaScript dans la base de données.

    Résultats

    Lorsque la fonction JavaScript est publiée, Analyse de l'intégrité des journaux l'utilise pour affiner la façon dont elle lit vos messages de journal interne et détecte les anomalies.

    Le nouveau script est automatiquement ajouté à la liste des modèles de fonction JS à partir desquels vous pouvez choisir. Cette fonctionnalité est prise en charge dans l'application Analyse de l'intégrité des journaux, Version 20.0.11 - July 2021, disponible dans le ServiceNow Store.

    Que faire ensuite

    Continuez avec les tâches de configuration d'entrée de données restantes : vérifiez que toutes vos sources de journal sont présentes et actives, puis ajoutez des formats d'horodatage si nécessaire.