Splunk-Dateneingaben konfigurieren

Freigeben Version: Yokohama

Aktualisiert 30. Januar 2025

6 Minuten Lesedauer

Konfigurieren Sie eine Dateneingabe für das Streaming von Protokollnachrichten an Ihre ServiceNow-Instanz mit einem Splunk Heavy Forwarder.

Vorbereitungen

Stellen Sie sicher, dass ein MID-Server mit aktivierter Protokollerfassungsfunktion installiert und konfiguriert ist.

Wichtig:
Health Log Analytics bietet keine Unterstützung für IPv6. Konfigurieren Sie den MID-Server auf IPv4, um mit der Anwendung zu arbeiten.
Wenn die IP-Adresse MID-Server durch Network Address Translation (NAT), ein Lastenausgleichsmodul oder ein ähnliches Gerät verfügbar gemacht wird, muss sie über eine öffentliche IP-Adresse verfügen. Fügen Sie in den Eigenschaften des MID-Server eine Eigenschaft mit dem Namen mid.public_ip mit der öffentlichen IP-Adresse als Wert hinzu. Weitere Informationen finden Sie unter MID Server-Eigenschaften erstellen.
Weitere Informationen zur Übermittlung von Protokollen mit SSL TLS-Verschlüsselung finden Sie im Artikel Streaming Data With Rsyslog & Filebeat Using SSL [KB0866319] (Daten mit Rsyslog & Filebeat über SSL streamen) in der Knowledge Base des Now Support.

Konfigurieren Sie Splunk, um Protokolle mit Syslog an Ihre ServiceNow-Instanz weiterzuleiten.
Die Konfiguration dieser Dateneingabe setzt das Vorhandensein einer Umgebungsvariablen namens $ SPLUNK_HOME voraus. In Unix-ähnlichen Umgebungen verweist diese Variable normalerweise auf /opt/splunk.
Hinweis:
In der Umgebung Windows wird dieselbe Verzeichnisstruktur verwendet, jedoch mit umgekehrten Schrägstrichen (\).

Erforderliche Rolle: evt_mgmt_admin

Warum und wann dieser Vorgang ausgeführt wird

Dieses Setupverfahren dient zum Streamen von Protokollen an Ihre Instanz mit einem Splunk Heavy Forwarder. Wenn Sie keinen Schwerlast-Forwarder verwenden können, können Sie stattdessen einen Universal-Forwarder Splunk verwenden. Weitere Informationen finden Sie im Artikel Splunk Universal Forwarder as a Shipping method [KB0961378] (Splunk Universal Forwarder als Versandmethode) in der Knowledge Base des Now Support.

Ab dem Familienrelease Yokohama können Sie neue Splunk -Dateneingaben verwenden, um Daten im vorverarbeiteten („gebackenen“) Protokollweiterleitungsformat zu erfassen, das Splunk standardmäßig verwendet. Im Kochmodus bettet die Weiterleitung Splunk Konfigurationsdetails wie Host, Quelltyp, Quelle und andere Einstellungen in die Protokolldaten ein. Durch das Erfassen der Daten in HLA in diesem Format wird sichergestellt, dass jede Protokollzeile alle relevanten Kontextinformationen enthält. Wenn Sie die Option für vorgefertigte Daten in HLAverwenden, müssen die Dateien „props.conf“ und „transforms.conf“ während der Konfiguration der Dateneingabe für Splunk nicht bearbeitet werden.

Hinweis:

Alle Splunk-Konfigurationsdateien befinden sich im Ordner $SPLUNK_HOME/etc/system/local/. Wenn eine Konfigurationsdatei, die Sie ändern müssen, nicht vorhanden ist, erstellen Sie sie und speichern Sie sie in diesem Ordner.

Hinweis:

Ein ausgefallener MID-Server kann eine Blockade in Ihrer Splunk-Pipeline verursachen. Eine volle Verarbeitungswarteschlange wirkt sich nicht auf die Pipeline aus.

Prozedur

Navigieren zu Alle > Health Log Analytics > Dateneingabe > Dateneingaben.
Wählen Sie auf der Seite „Data Inputs“ (Dateneingaben) die Option Neu aus.
Wählen Sie die DateneingabeSplunk für das Streaming von Protokollen über einen Splunk -Heavy Forwarder oder Universal-Forwarderaus.
Füllen Sie die Formularfelder auf der Registerkarte Erste Schritte aus.
Feldbeschreibungen finden Sie unter Splunk Konfigurationsfelder für die Dateneingabe.
Fügen Sie auf der Registerkarte Outputs.conf der Datei outputs.conf die folgenden Absätze hinzu, damit der Versender Protokolldaten über das ausgewählte Transportprotokoll und den ausgewählten Port weiterleitet, und wählen Sie dann Weiter aus.

Hinweis:
Wenn Sie bereits Ausgaben konfiguriert haben, führen Sie diese Zeilen mit Ihrer vorhandenen Konfiguration zusammen.
- Weiterleitung über TCP:
  Hinweis:
  Verwenden Sie den ersten Absatz nur, wenn Sie noch keinen tcpout-Absatz konfiguriert haben. Der zweite Absatz ist für die Weiterleitung an Health Log Analytics über TCP erforderlich.
```
[tcpout]
indexAndForward = 1
defaultGroup = nothing

[tcpout:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
sendCookedData = false
compressed = false
```
- Weiterleitung über UDP:
  Hinweis:
  Verwenden Sie den ersten Absatz nur, wenn Sie noch keinen syslog-Absatz konfiguriert haben. Der zweite Absatz ist für die Weiterleitung an Health Log Analytics über UDP erforderlich.
```
[syslog]defaultGroup = nothing

[syslog:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
```
Bearbeiten Sie auf der Registerkarte Props.conf die Datei props.conf und wählen Sie Weiter aus.

Hinweis:
Wenn Sie auf der Registerkarte „Erste Schritte“ die Option Vorgefertigte Daten verwenden ausgewählt haben, muss die Datei props.conf nicht bearbeitet werden.
1. Ändern Sie vorhandene Absätze, oder fügen Sie Absätze hinzu, um Quelltypen, Serviceinstanzen und Hosts zur Weiterleitung an Health Log Analyticszu markieren.
  Hinweis:
  Um optimale Ergebnisse zu erzielen, markieren Sie nur Quelltypen zur Weiterleitung.
  Verwenden Sie beim Hinzufügen von Absätzen folgende Namenformate:
  
  Quelltypen: [<source type>]. Beispiel: [syslog]
  
  Quellen (nicht empfohlen): [source::<source>]. Beispiel: [source::myApp]
  
  Hosts (nicht empfohlen): [host::<host>]. Beispiel: [host::10.9.8.7]
2. Fügen Sie am Ende jedes Absatzes, den Sie entweder über TCP oder UDP an Health Log Analytics weiterleiten möchten, die folgende Zeile hinzu.
  - Weiterleitung über TCP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
  - Weiterleitung über UDP:
    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
    Diese Zeile wendet die Transformation CLONE_SOURCETYPE auf die Daten an, um zu verhindern, dass die für die Health Log Analytics-Verarbeitung erforderliche Bearbeitung Ihre vorhandene Datenpipeline beeinträchtigt. Um beispielsweise alle Protokolle vom Quelltyp „syslog“ an Health Log Analytics zu senden, gehen Sie wie folgt vor:
    [syslog] #existing configuration goes here TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
3. Fügen Sie den folgenden Absatz hinzu, um alle relevanten Transformationen anzuwenden, die für die Health Log Analytics-Verarbeitung erforderlich sind:
  Hinweis:
  Mit Splunk können Sie vertrauliche Daten im geklonten Quelltyp für das ausgewählte Protokoll anonymisieren. Weitere Informationen finden Sie im Abschnitt „Anonymize data“ (Daten anonymisieren) in der Splunk-Dokumentation.
  - Weiterleitung über TCP:
    
    [send_to_hla_tcp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
  - Weiterleitung über UDP:
    
    [send_to_hla_udp] TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time

Fügen Sie auf der Registerkarte Transforms.conf der Datei transforms.conf die folgenden Absätze hinzu und wählen Sie anschließend Weiter aus.

Hinweis:

Wenn Sie auf der Registerkarte „Erste Schritte“ die Option Vorgefertigte Daten verwenden ausgewählt haben, muss die Datei transforms.conf nicht bearbeitet werden.

Der dritte Absatz klont die Protokolle zur weiteren Bearbeitung, ohne sich auf die vorhandene Indizierung auszuwirken. Die verbleibenden Absätze fügen die Informationen hinzu, die für die korrekte Verarbeitung von Health Log Analytics erforderlich sind.

Hinweis:

Sie können sensible Daten verschleiern, indem Sie hier eine Transformation hinzufügen und dann den Absatz des geklonten Quelltyps in der Datei props.conf ändern.

[accepted_keys]
#Custom field for preserving sourcetype
hla_sourcetype_preservation=_hla_sourcetype

#Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
[clone_for_hla_store_sourcetype]
SOURCE_KEY = MetaData:Sourcetype
REGEX = ^sourcetype::(.+)$
FORMAT = hla_sourcetype::$1
DEST_KEY = _hla_sourcetype

[clone_for_hla]
REGEX=.
DEST_KEY = _TCP_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_tcp

#Only used in case of UDP forwarding
[clone_for_hla_udp]
REGEX=.
DEST_KEY = _SYSLOG_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_udp

#Add metadata to the log message, since metadata is lost when forwarding externally
[health_log_analytics_add_sourcetype]
SOURCE_KEY = _hla_sourcetype
REGEX = ^hla_sourcetype::(.+)$
FORMAT = sourcetype="$1"] $0
DEST_KEY = _raw

[health_log_analytics_add_host]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = host="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_source]
SOURCE_KEY = MetaData:Source
REGEX = ^source::(.+)$
FORMAT = source="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_syslog5424]
REGEX=.
FORMAT = - - [sdid@1234 $0
DEST_KEY = _raw

[health_log_analytics_add_index]
SOURCE_KEY = _MetaData:Index
REGEX = ^(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_syslogHost]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_time]
SOURCE_KEY = _time
REGEX = ^(.+)$
FORMAT = <182>1 $1 $0
DEST_KEY = _raw

Starten Sie auf der Registerkarte Finish.conf Splunk neu, indem Sie den Befehl $SPLUNK_HOME/bin/splunk restart splunkd ausführen.
Wählen Sie Speichern.
Health Log Analytics fügt den Dateneingabedatensatz in die Dateneingabentabelle ein.
Stellen Sie sicher, dass die Dateneingabe richtig konfiguriert ist, indem Sie Verbindung testenauswählen.

Health Log Analytics versucht, den MID-Server mit dem Daten-Repository zu verbinden.
- Wenn die Verbindung erfolgreich hergestellt wurde, ist die Schaltfläche Verbindung testen deaktiviert und die Schaltfläche Veröffentlichen aktiviert.
- Wenn die Verbindung fehlgeschlagen ist, wird der Grund für den Fehler im Feld Fehlermeldung angezeigt. Dieses Feld wird nur angezeigt, wenn ein Streaming-Fehler aufgetreten ist.
  Beheben Sie das Problem, wählen Sie Speichern, wenn Sie die Konfiguration geändert haben, und wählen Sie Verbindung testen, um die Verbindung erneut zu testen.
  
  Hinweis:
  Sie können die Dateneingabekonfiguration nur veröffentlichen, wenn die Verbindung erfolgreich erstellt wurde.
Hinweis:
Sie können zur zuletzt veröffentlichten Konfiguration zurückkehren, indem Sie Changes rückgängig machenauswählen. Diese Option ist nur verfügbar, wenn Sie eine zuvor veröffentlichte -Konfiguration ändern.
Wählen Sie Veröffentlichen aus, um die Dateneingabe im MID-Serverzu veröffentlichen.

Ergebnisse

Der Konfigurationsprozess für die Dateneingabe ist abgeschlossen. Health Log Analytics fügt den Dateneingabedatensatz der Tabelle „Dateneingaben“ hinzu und hängt die Konfigurationsdatei an den Dateneingabedatensatz an. Durch die Dateneingabe wird das Streaming von Protokolldaten an Ihre Instanz ServiceNow mithilfe eines Splunk -Versenders gestartet.

Hinweis:

Wenn die KI-Engine Health Log Analytics ausgefallen ist und das Streaming von Daten beendet wurde, wird oben auf der Konfigurationsseite für die Dateneingabe eine Benachrichtigung angezeigt. Wenden Sie sich in diesem Fall an den Support ServiceNow.

Nächste Maßnahme

Stellen Sie sicher, dass die Dateneingabe aus Streaming-Daten besteht.