Configurer les entrées de données d'Splunk

Rversion finale: Yokohama

Mis à jour 30 janv. 2025

7 minutes de lecture

Configurez une entrée de données pour diffuser des messages de journal vers votre instance ServiceNow à l'aide d'un heavy forwarder Splunk.

Avant de commencer

Assurez-vous qu’un Serveur MID est installé et configuré avec l’aptitude d’ingestion de journal activée.

Important :
Analyse de l'intégrité des journaux ne prend pas en charge IPv6. Pour utiliser l'application, configurez le Serveur MID sur IPv4.
Si l’adresse IP est exposée par la traduction d’adresses Serveur MID réseau (NAT), un équilibreur de charge ou un appareil similaire, elle doit avoir une adresse IP publique. Dans les propriétés Serveur MID, ajoutez une propriété nommée mid.public_ip avec l'adresse IP publique comme valeur. Pour plus d'informations, voir Créer une propriété de MID Server.
Pour plus d'informations sur l'expédition de vos journaux chiffrés à l'aide de SSL/TLS, consultez l'article Streaming Data With Rsyslog & Filebeat Using SSL [KB0866319] dans la base de connaissances Now Support.

Configurez Splunk pour transférer les journaux à votre instance ServiceNow à l'aide de Syslog.
La configuration de cette entrée de données suppose l'existence d'une variable d'environnement nommée $SPLUNK_HOME. Dans les environnements Unix, cette variable pointe généralement vers /opt/splunk.
Remarque :
L’environnement Windows utilise la même structure de répertoires, mais avec des barres obliques inverses (\).

Rôle requis : evt_mgmt_admin

Pourquoi et quand exécuter cette tâche

Cette procédure de configuration permet de diffuser des journaux vers votre instance à l'aide d'un heavy forwarder Splunk. Si vous ne pouvez pas utiliser un forwarder lourd, vous pouvez utiliser un Splunk forwarder universel à la place. Pour plus d'informations, consultez l'article Forwarder universel Splunk en tant que méthode d'expédition [KB0961378] dans la base de connaissances Now Support.

À partir de la version de la famille, vous pouvez utiliser de Yokohama nouvelles Splunk entrées de données pour ingérer des données dans le format de transfert de journal prétraité (« cuit ») utilisé Splunk par défaut. En mode préparé, le redirecteur intègre des détails de configuration, tels que l’hôte, le Splunk type de source, la source et d’autres paramètres dans les données du journal. L’ingestion des données dans HLA ce format garantit que chaque ligne du journal conserve toutes les informations contextuelles pertinentes. Si vous utilisez l’option de données préparées dans HLA, il n’est pas nécessaire de modifier les fichiers props.conf et transforms.conf pendant Splunk la configuration de l’entrée des données.

Remarque :

Tous les fichiers de configuration Splunk se trouvent dans le dossier $SPLUNK_HOME/etc/system/local/. Si un fichier de configuration que vous devez modifier n'existe pas, créez-le et enregistrez-le dans ce dossier.

Remarque :

Un Serveur MID en panne peut entraîner un blocage dans votre pipeline Splunk. Une file d'attente de traitement complète n'affecte pas le pipeline.

Procédure

Accédez à la Tout > Analyse de l'intégrité des journaux > Entrée de données > Entrées de données.
Sur la page Entrées de données, sélectionnez Nouveau.
Choisissez l’entrée de données pour la Splunk diffusion des journaux via un redirecteur lourd ou un Splunk redirecteur universel.
Dans l'onglet Mise en route, remplissez les champs du formulaire.
Pour obtenir une description des champs, consultez la rubrique Splunk Champs de configuration de l’entrée de données.
Dans l'onglet Sorties.conf, ajoutez les strophes suivantes au fichier outputs.conf pour que l'expéditeur transfère les données de journal selon le protocole de transport sélectionné sur le port sélectionné, puis sélectionnez Suivant.

Remarque :
Si vous avez déjà configuré des sorties, fusionnez ces lignes avec votre configuration existante.
- Transfert via TCP :
  Remarque :
  Utilisez la première strophe uniquement si vous n'avez pas déjà configuré une strophe tcpout. La deuxième strophe est obligatoire pour diffuser à Analyse de l'intégrité des journaux via TCP.
```
[tcpout]
indexAndForward = 1
defaultGroup = nothing

[tcpout:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
sendCookedData = false
compressed = false
```
- Transfert via UDP :
  Remarque :
  Utilisez la première strophe uniquement si vous n'avez pas déjà configuré une strophe syslog. La deuxième strophe est obligatoire pour diffuser à Analyse de l'intégrité des journaux via UDP.
```
[syslog]defaultGroup = nothing

[syslog:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
```
Dans l'onglet Props.conf, modifiez le fichier props.conf, puis sélectionnez Suivant.

Remarque :
Si vous avez sélectionné l’option Utiliser les données préparées dans l’onglet Mise en route , il n’est pas nécessaire de modifier le fichier props.conf .
1. Modifiez les strophes existantes ou ajoutez des strophes pour marquer les types de sources, les instances de service et les hôtes vers lesquels effectuer le transfert vers Analyse de l'intégrité des journaux.
  Remarque :
  Pour de meilleurs résultats, marquez uniquement les types de sources pour le transfert.
  Lors de l'ajout de strophes, utilisez les formats de nom suivants :
  
  Types de sources : [<source type>]. Par exemple : [syslog]
  
  Sources (non recommandées) : [source::<source>]. Par exemple, [source::myApp]
  
  Hôtes (non recommandés) : [host::<host>]. Par exemple, [host::10.9.8.7]
2. Ajoutez la ligne suivante à la fin de chaque strophe que vous souhaitez transférer à Analyse de l'intégrité des journaux via TCP ou UDP.
  - Transfert via TCP :
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
  - Transfert via UDP :
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
    Cette ligne applique la transformation CLONE_SOURCETYPE sur les données pour empêcher que la manipulation nécessaire au traitement par Analyse de l'intégrité des journaux n'affecte votre pipeline de données existant. Par exemple, pour envoyer tous les journaux à partir du type de source « syslog » à Analyse de l'intégrité des journaux :
    [syslog] #existing configuration goes here TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
3. Ajoutez la strophe suivante pour appliquer toutes les transformations pertinentes nécessaires au traitement par Analyse de l'intégrité des journaux.
  Remarque :
  Splunk vous permet d'anonymiser les données sensibles sur le type de source cloné pour le protocole sélectionné. Pour plus d'informations, consultez la section « Anonymiser les données » dans la documentation Splunk.
  - Transfert via TCP :
    
    [send_to_hla_tcp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
  - Transfert via UDP :
    
    [send_to_hla_udp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

Dans l'onglet Transforms.conf, ajoutez les strophes suivantes au fichier transforms.conf, puis sélectionnez Suivant.

Remarque :

Si vous avez sélectionné l’option Utiliser les données préparées dans l’onglet Mise en route , il n’est pas nécessaire de modifier le fichier transforms.conf .

La troisième strophe clone les journaux pour une manipulation supplémentaire sans affecter votre indexation existante. Les strophes restantes ajoutent les informations nécessaires pour permettre un traitement correct par Analyse de l'intégrité des journaux.

Remarque :

Vous pouvez brouiller les données sensibles en ajoutant une transformation ici, puis en modifiant la strophe du type de source cloné dans le fichier props.conf.

[accepted_keys]
#Custom field for preserving sourcetype
hla_sourcetype_preservation=_hla_sourcetype

#Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
[clone_for_hla_store_sourcetype]
SOURCE_KEY = MetaData:Sourcetype
REGEX = ^sourcetype::(.+)$
FORMAT = hla_sourcetype::$1
DEST_KEY = _hla_sourcetype

[clone_for_hla]
REGEX=.
DEST_KEY = _TCP_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_tcp

#Only used in case of UDP forwarding
[clone_for_hla_udp]
REGEX=.
DEST_KEY = _SYSLOG_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_udp

#Add metadata to the log message, since metadata is lost when forwarding externally
[health_log_analytics_add_sourcetype]
SOURCE_KEY = _hla_sourcetype
REGEX = ^hla_sourcetype::(.+)$
FORMAT = sourcetype="$1"] $0
DEST_KEY = _raw

[health_log_analytics_add_host]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = host="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_source]
SOURCE_KEY = MetaData:Source
REGEX = ^source::(.+)$
FORMAT = source="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_syslog5424]
REGEX=.
FORMAT = - - [sdid@1234 $0
DEST_KEY = _raw

[health_log_analytics_add_index]
SOURCE_KEY = _MetaData:Index
REGEX = ^(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_syslogHost]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_time]
SOURCE_KEY = _time
REGEX = ^(.+)$
FORMAT = <182>1 $1 $0
DEST_KEY = _raw

Dans l'onglet Finish.conf, redémarrez Splunk en exécutant la commande $SPLUNK_HOME/bin/splunk restart splunkd.
Sélectionnez Enregistrer.
Analyse de l'intégrité des journaux ajoute l'enregistrement d'entrée de données à la table Entrées de données.
Assurez-vous que l’entrée de données est configurée correctement en sélectionnant Test de la connexion.

Analyse de l'intégrité des journaux tente de se connecter Serveur MID au référentiel de données.
- Si la connexion a été établie, le bouton Test de la connexion est désactivé et le bouton Publier est activé.
- Si la connexion a échoué, le motif de l’échec s’affiche dans le champ Message d’erreur . Ce champ s’affiche uniquement lorsqu’une erreur de diffusion s’est produite.
  Résolvez le problème, sélectionnez Enregistrer si vous avez modifié la configuration, puis sélectionnez Test de la connexion pour tester à nouveau la connexion.
  
  Remarque :
  Vous ne pouvez publier la configuration des entrées de données que lorsque la connexion est créée avec succès.
Remarque :
Vous pouvez revenir à la dernière configuration publiée en sélectionnant Rétablir les changements. Cette option n’est disponible que lorsque vous modifiez une configuration qui a été publiée précédemment.
Sélectionnez Publier pour publier l’entrée de données dans le Serveur MID.

Résultats

Le processus de configuration des entrées de données est terminé. Analyse de l'intégrité des journaux ajoute l’enregistrement d’entrée de données à la table d’entrées de données et joint le fichier de configuration à l’enregistrement d’entrée de données. L’entrée de données démarre la diffusion des données du journal vers votre instance à l’aide ServiceNow d’un Splunk expéditeur.

Remarque :

Si le moteur AI est en panne et que les données ont cessé d’être Analyse de l'intégrité des journaux diffusées, une notification s’affiche en haut de la page de configuration des entrées de données. Lorsque cela se produit, contactez l’assistance ServiceNow .

Que faire ensuite

Assurez-vous que l'entrée de données contient des données de diffusion.