Elasticsearch Champs de configuration de l’entrée de données

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 9 minutes de lecture

    • Description des champs sur le formulaire de configuration d’entrée Elasticsearch de données.

    Configuration de base

    Champ Description
    Nom Nom de la nouvelle entrée de données Ce champ est obligatoire.
    Description Description de l'entrée de données.
    Exécuter sur Option permettant de déterminer s’il faut utiliser un MID Server spécifique ou une grappe de MID Servers.

    Cette fonctionnalité est prise en charge dans l’application Analyse de l'intégrité des journaux Version 26.0.17 de février 2023 et versions ultérieures, disponible dans le ServiceNow Store.
    MID

    (Uniquement lorsque le champ Exécuter sur est défini sur Serveur MID spécifique)

    Serveur MID vers lequel les données de journal des indices Elasticsearch sont extraites.
    Remarque :
    • Vous pouvez sélectionner uniquement des Serveurs MID qui prennent en charge l'authentification de base. Les Serveurs MID qui prennent en charge mTLS ne sont pas répertoriés.
    • Le nombre maximal par défaut d'entrées de données qui diffusent des journaux vers une seul Serveur MID est de 10. Vous pouvez modifier ce nombre dans les propriétés du MID Server.
    • Si l’ingestion de journal n’est pas activée pour l’élément sélectionné Serveur MID, Analyse de l'intégrité des journaux il l’active automatiquement.
    Ce champ est obligatoire.
    Grappe de MID Server

    (Uniquement lorsque le champ Exécuter sur est défini sur Spécifique Serveur MID Grappe)

    Grappe Serveur MID vers laquelle les données du journal sont extraites.

    L’entrée de données s’exécute sur un seul Serveur MID dans le cluster jusqu’à ce qu’il Serveur MID échoue. Le système déplace ensuite toutes les tâches d’entrée de données vers le MID Server disponible suivant dans le cluster en fonction de l’ordre configuré.

    Cette fonctionnalité est prise en charge dans l’application Analyse de l'intégrité des journaux Version 26.0.17 de février 2023 et versions ultérieures, disponible dans le ServiceNow Store.

    Remarque :
    • Analyse de l'intégrité des journaux prend en charge uniquement les grappes de Serveur MID basculement. Plusieurs clusters Serveurs MID sont regroupés pour une protection contre le basculement. Lors de la sélection d’une grappe à partir du formulaire d’entrée de données, la liste Grappes affiche uniquement les Serveur MID grappes de basculement.
    • La Serveur MID grappe doit inclure uniquement Serveurs MID ceux qui prennent en charge l’authentification de base. mTLS n’est pas pris en charge pour l’ingestion de journal.
    • L’ingestion de journaux doit être activée pour chacun Serveur MID des clusters. Si l’ingestion de journal n’est pas activée pour l’actif Serveur MID, Analyse de l'intégrité des journaux l’active automatiquement.
    • En cas d’utilisation Elasticsearch d’un certificat client ou d’une authentification par certificat d’autorité de certification, tous les Serveurs MID membres du cluster doivent disposer des certificats appropriés.
    • Le nombre maximal par défaut d'entrées de données qui diffusent des journaux vers un seul Serveur MID est de 10. Un cluster réussit la validation de capacité s’il en contient au moins un Serveur MID avec moins de 10 entrées de données en cours d’exécution, même lorsqu’il Serveur MID est en panne.
    Pour plus d’informations sur les grappes de MID Servers, consultez Configurer une grappe de MID Servers.

    Ce champ est obligatoire.
    Service d'application Service d'application auquel lier les données de journal. Ce champ est obligatoire.
    Remarque :
    S’il n’existe aucun service d’application pertinent, Créer un service d'application et y ajouter des CI. Définissez l'état du nouveau service d'application sur Opérationnel.

    Les champs suivants affichent des informations en lecture seule :

    Champ Description
    États État de l'entrée de données.
    Transport Protocole utilisé pour diffuser les données de journal.

    Cette entrée de données utilise Elastic pour diffuser les données de journal vers votre instance.
    Nombre de sources Nombre de sources de journal créées par cette entrée de données.
    Désactivé depuis Heure à laquelle l'entrée de données s'est arrêtée ou a échoué.
    Heure du dernier journal Heure à laquelle le dernier journal a été diffusé à l'entrée de données.
    Tableau 1. Onglet Transport
    Champ Description
    URL serveur URL utilisée pour accéder à la grappe. Ce champ est obligatoire.
    Nbre max. de connexions par acheminement Nombre maximal de connexions à ouvrir par nœud. Par défaut : 2.
    Tranches de défilement maximum Nombre de partitions configurées pour l’index pertinent dans Elasticsearch.

    Ce nombre indique à Elastic le nombre de requêtes parallèles à exécuter dans chaque demande d’interrogation.
    Hôte proxy Nom d’hôte du proxy HTTP par lequel les demandes sont envoyées.
    Port proxy Port du proxy HTTP par lequel les demandes sont envoyées.
    Méthode d'authentification Méthode d’authentification utilisée pour authentifier l’entrée de données dans Elasticsearch. Les options sont les suivantes : authentification de base, apiKey ou certificat client.
    Remarque :
    Lorsque vous sélectionnez la méthode d’authentification requise, les champs d’informations d’identification correspondants s’affichent sur le formulaire.
    Informations d'identification pour l'authentification de base Nom d’utilisateur et mot de passe utilisés pour se connecter au moteur de Elasticsearch recherche.
    Remarque :
    Renseignez ce champ ou le champ Informations d'identification AWS.
    Informations d'identification AWS Informations d'identification AWS à utiliser pour se connecter au moteur de recherche Elasticsearch hébergé par AWS.
    Remarque :
    Renseignez ce champ ou le champ Informations d'identification d'authentification de base.
    Région AWS Région AWS où la grappe Elasticsearch s'exécute.
    Informations d'identification de clé API Clé API utilisée pour se connecter au moteur de Elasticsearch recherche.
    Certificat de client Certificat client utilisé pour se connecter au moteur de Elasticsearch recherche.
    Utiliser la vérification de la politique de certificat MID Option permettant d'activer la vérification de la politique de certificat MID.

    Sélectionnez cette option si vous souhaitez envoyer vos journaux chiffrés à l'aide du protocole SSL TLS. Accédez ensuite à Tous > Serveur MID > Politique de sécurité MID et ajoutez la vérification de la politique de certificat MID à la table. Pour plus d’informations, consultez Politiques de vérification des certificats de Serveur MID.
    Tableau 2. Onglet Paramètres de la requête
    Champ Description Exemple
    De/À Dates et heures de début et de fin de lecture des données.
    • De : Ne pas lire les données antérieures à cette date.
      Remarque :
      La définition de cette valeur sur une date antérieure peut nécessiter que le système lise de grandes quantités de données, provoquant ainsi une congestion.
    • À : Ne pas lire les données postérieures à cette date. Pour les données en direct, définissez cette date loin dans le futur.
    		 De : 1970-01-01 15:59:59

    À : 2300-01-01 15:59:59
    Utiliser la recherche inter-grappes Option pour rechercher des données dans Elasticsearch les grappes.

    Lorsque cette case est cochée, le champ Grappes à rechercher s’affiche.

    Remarque :
    Les paramètres définis dans la case à cocher Utiliser des privilèges minimaux et le champ Délai de lecture de l’horodatage actuel (secondes) du formulaire Configuration avancée ont une incidence sur la façon dont les données sont collectées dans plusieurs clusters.
    Grappes à rechercher Grappes Elasticsearch à rechercher.

    Ce champ s’affiche uniquement lorsque la case à cocher Utiliser la recherche inter-grappes est sélectionnée.

    Effectuez l'une des actions suivantes :
    • Laissez ce champ vide ou saisissez « * » pour rechercher toutes les grappes distantes définies dans Elasticsearch.
    • Spécifiez les clusters à rechercher dans une liste séparée par des virgules.
      Remarque :
      Pour effectuer également une recherche dans la grappe locale, ajoutez une virgule au début ou à la fin, ou ajoutez deux virgules successives à la liste. Par exemple : « est,,ouest » ou « ,est,ouest » ou « * »,
    		 Est, Ouest, Sud
    Préfixe d'index Préfixe des index Elasticsearch à partir duquel lire. L'entrée de données ne lit que les index avec ce préfixe. Ce champ est obligatoire. ne-lire-que-ces-index-*
    Utiliser des privilèges minimaux Option pour lire les Elasticsearch données de journal directement à partir des index avec le préfixe configuré.
    • Lorsque cette option est sélectionnée, l’entrée de données lit les données de journal directement à partir des Elasticsearch index avec le préfixe configuré. Pour effectuer cette tâche, il n’a besoin que de privilèges de lecture.
      Remarque :
      Lorsque cette case est cochée et que vous utilisez la recherche inter-grappes, les données sont collectées à partir de toutes les grappes simultanément.
    • Lorsque cette option est décochée, l’entrée de données extrait tous les index avec le préfixe, les filtre et lit les données de journal à partir des index filtrés. L’exécution de cette tâche nécessite des privilèges supplémentaires.
      Remarque :
      Si vous n’activez pas cette case à cocher lors de l’utilisation de la recherche entre clusters, cela affecte la façon dont les données sont collectées à partir des clusters. Pour plus d’informations, consultez l’article Activation et utilisation de la recherche inter-clusters pour les entrées de données Elasticsearch dans Health Log Analytics [KB1556079] dans la Now Support base de connaissances.

    Pour plus d'informations sur la diffusion de journaux à l'aide de l'entrée de données Elasticsearch, consultez l'article Diffuser des journaux à l'aide de l'entrée de données Elasticsearch - Guide avancé [KB1080162] dans la base de connaissances Now Support.
    Champ d'horodatage de document Champ d'horodatage dans les documents stockés dans les index de lecture. Ce champ est obligatoire.
    Format du champ d'horodatage Format du champ d'horodatage dans les documents.

    Si aucun format n’est spécifié, le format d’heure Epoch Unix par défaut est utilisé, en millisecondes. Par exemple :

    1684168407 (15 mai 2023 16 :33 :27)

    		 aaaa-MM-jj'T'HH:mm:ss.SSSSSSS'Z'
    Filtres des termes Carte JSON des termes à filtrer.
    Remarque :
    Évitez d'utiliser la requête des termes pour les champs de texte. Si le champ cible est mappé en tant que texte et mot clé, référencez le mot clé à l'aide de fieldname.keyword.
    		 {"gravité": ["erreur", "avertissement"]}
    Nombre maximum de documents par requête Nombre maximal de documents récupérés dans une seule requête.
    Départage par l'option sliced-scrolling Valeur utilisée pour trancher les données. Chaque tranche est défilée en parallèle. Par défaut : _id
    Départage par l'option search_after Valeur unique par document à utiliser comme départage lors du tri des entrées de journal par horodatage.
    Utiliser l'API search_after Option permettant de basculer entre l’utilisation des API sliced-scrolling et search_after.
    Remarque :
    Les API sliced-scrolling sont recommandées pour la lecture de données historiques, tandis que les API search_after sont recommandées pour lire des données en temps réel.
    Format du suffixe temporel de l'index Format du suffixe temporel lors de l'utilisation de noms d'index basés sur le temps, tels que [logstash-]AAAA.MM.JJ.

    Lorsque vous utilisez des alias, laissez ce champ vide.

    		 uuuu.MM.jj

    Configuration avancée

    Tableau 3. Formulaire Configuration avancée
    Champ Description
    Délai de lecture de données (millisecondes) Durée, en millisecondes, avant l'expiration d'une demande à la grappe Elasticsearch.
    Intervalle de détection d'index (en secondes) Nombre de secondes entre les demandes intermittentes du Serveur MID à la grappe Elasticsearch pour les nouveaux indices à partir desquels lire les données.
    Temps de défilement du contexte (millisecondes) Cycle de vie du défilement créé lors de l'utilisation de l'API de défilement pour lire les données à partir de Elasticsearch. Pour plus d'informations, consultez la Elasticsearch documentation de l'API de défilement.
    Agents des processeurs d'événements Nombre maximal de cœurs de processeur utilisés en parallèle pour traiter les événements récupérés à partir de Elasticsearch. Un paramètre plus élevé augmente le débit d'entrée de données au coût d'une utilisation plus élevée du processeur.
    Taille de la file d'attente de l'agent Nombre maximal de lots à mettre en file d'attente pour le traitement. Un paramètre plus élevé augmente le débit, au coût d'une utilisation plus élevée de la RAM.
    Fuseau horaire par défaut Fuseau horaire par défaut si la date et l'heure de l'événement n'incluent pas d'informations sur le fuseau horaire.
    Taux d'abandon du sous-exemple Nombre d'événements à mettre en lot ensemble, dont un sera ignoré. Ce paramètre est utilisé pour réduire le nombre d'événements récupérés.
    Taux de réception du sous-exemple Nombre d'événements à mettre en lot ensemble, dont tous, sauf un, seront ignorés. Ce paramètre est utilisé pour réduire le nombre d'événements reçus.
    Codage des caractères Codage des caractères pour cette entrée de données.
    Intervalle de sommeil (en secondes) Intervalle, en secondes, à attendre avant d'interroger à nouveau après qu'une requête n'a renvoyé aucune donnée.
    Longueur maximale en octets Longueur maximale, en octets, des messages de journal.
    Délai de lecture de l'horodatage actuel (secondes) Nombre de secondes avant le délai de requête actuel pour inclure des données retardées.

    Le nombre configuré de secondes est soustrait de l'heure actuelle pour lire le dernier horodatage.

    Remarque :
    Si cette valeur est égale à 0 et que les données sont collectées à partir de plusieurs clusters simultanément, la requête peut ne pas inclure les données qui ont été envoyées avec un retard sur l’un des clusters.