Mappage et mappage automatiques des données de journal

  • Rversion finale: Yokohama
  • Mis à jour 30 janv. 2025
  • 4 minutes de lecture

    • Par défaut, le moteur d'AI Analyse de l'intégrité des journaux tente de mapper automatiquement chaque ligne de journal entrante aux balises correctes. Vous pouvez modifier manuellement les résultats de mappage automatique en définissant une fonction JavaScript.

    Mappage automatique des lignes de journal entrantes

    Analyse de l'intégrité des journaux Le mappage automatique affecte des échantillons de journal et des métadonnées à trois balises : instance de service, composant et type de source. L’affectation d’instance de service est basée sur l’instance de service spécifiée dans la configuration de l’entrée de données. Les balises restantes sont affectées automatiquement.

    Par exemple, dans l'exemple de ligne de journal suivant, Analyse de l'intégrité des journaux utilise le champ « source » pour trouver le composant et le type de source.

    {"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786}

    Dans l'exemple, Analyse de l'intégrité des journaux extrait la chaîne « online_store ». Il analyse les champs suivants s'ils existent dans la ligne de journal : source, path, channel, namespace_name, name, pod_name, source_name et aws_lambda_name. Lorsque des données sont envoyées par Syslog, elles analysent également la balise syslog.

    Arrêter l'extraction des données inutiles
    Si une chaîne extraite n'est pas assez descriptive ou contient du texte ou des informations redondantes, vous pouvez arrêter d'extraire ces données. Pour plus d'informations, consultez Arrêter l'extraction des données de journal inutiles.
    Garantir l'extraction de données spécifiques
    Vous pouvez vous assurer que Analyse de l'intégrité des journaux extrait les termes spécifiques souhaités. Pour plus d'informations, consultez Garantir l'extraction de données de journal spécifiques.

    Mappage des sources d'entrée de données

    Vous pouvez modifier manuellement les résultats de mappage automatique en définissant une fonction JavaScript. Le mappage d’entrée de données vous permet d’organiser vos données de journal par instance de service et par zone de disponibilité. Une seule instance de service peut inclure plusieurs composants et un composant peut recevoir des journaux de nombreux types de sources différents. Toutefois, une paire instance-composant de service est unique. Les types de sources sont basés sur une structure et un format de journal spécifiques. Les instances et les composants de service sont définis de manière plus large et sont donc principalement utilisés pour le mappage logique.

    L’activation du mode Test évite d’augmenter Elasticsearch le stockage avec des exemples de données qui ne sont utilisés que pour perfectionner le mappage des données de journal. Lorsque l’entrée de données est en mode test, Analyse de l'intégrité des journaux elle ne crée pas les types de sources, les sources ou tout autre objet qu’elle crée dans le flux standard. Il enregistre les données diffusées dans des index temporaires Elasticsearch dédiés qui apparaissent sous forme de composants dans la visionneuse de journaux. Lorsque vous publiez le script et quittez le mode Test, ces index temporaires sont supprimés afin de minimiser la consommation d’espace de stockage.

    Lorsque vous définissez une fonction JavaScript, sélectionnez Test pour afficher le résultat du script tel qu’il est actuellement spécifié. Cette fonctionnalité vous permet de prévisualiser les types de source et les sources créés. Vous pouvez ensuite affiner le script jusqu’à ce qu’il atteigne le résultat souhaité. Par exemple, il peut être utile de comparer les résultats des tests de plusieurs versions de la fonction JavaScript.
    Remarque :
    Par défaut, le test traite 100 échantillons de données de journal. Vous pouvez personnaliser ce nombre dans les propriétés système. Pour plus d'informations, consultez Configurer les propriétés système de Analyse de l'intégrité des journaux.
    Pendant la configuration de l'entrée de données, le système peut créer un nombre total excessif de sources d'entrée de données. Par exemple, cela peut être dû à un script de mappage défectueux. Vous pouvez configurer des limites pour le nombre de sources créées par entrée de données dans les propriétés système :
    Propriété système Description Valeur par défaut
    log_source.sources_warning_limit Limite d'avertissement pour le nombre de sources créées par entrée de données. 500
    log_source.sources_critical_limit Limite critique pour le nombre de sources créées par entrée de données. 600
    Le nombre de sources de journal créées par une entrée de données spécifique s’affiche dans le champ Nombre de sources pour cette entrée de données. Lorsque le nombre total de sources créées pendant la configuration de l'entrée de données atteint la limite d'avertissement, le système envoie une notification d'avertissement par e-mail. Il affiche également un message sur les pages Mappage d'entrée de données, Sources de journal et Entrée de données. La notification et le message comprennent le nombre total de sources créées jusqu'à présent et les trois entrées de données qui ont mené le plus de sources à ce total. Si aucune action n'est effectuée, le système continue de créer des sources jusqu'à ce que le nombre total atteigne la limite critique. Lorsque cela se produit, la configuration et la diffusion des entrées de données à partir de toutes les entrées de données s'arrêtent automatiquement. Vous ne pouvez pas démarrer les entrées de données manuellement tant que le problème n'a pas été résolu. Vous pouvez résoudre cet état en suivant les instructions de l'article Comment gérer trop de sources dans les entrées de données [KB0963067] de la base de connaissances Now Support.

    Lier des données de journal

    Lier des données de journal aux éléments de configuration (CI) dans la Base de données de gestion des configurations (CMDB) vous permet de rechercher des points de terminaison dans la CMDB qui correspondent à un journal. Lorsque vous configurez une entrée de données, vous liez les entrées de journal à une instance de service liée à un CI dans la CMDB. La liaison des entrées de journal, des instances de service et des CI permet au moteur d’IA de les corréler pour une utilisation dans l’analyse Analyse de l'intégrité des journaux de la cause première (RCA). Pour plus d'informations, voir Configurez Rsyslogles entrées de données, Filebeat ou Winlogbeat ou Configurer les entrées de données d'Elasticsearch.