Dateneingaben konfigurieren (Splunk)

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 5 Minuten Lesedauer

    • Konfigurieren Sie eine Dateneingabe für das Streaming von Protokollnachrichten an Ihre ServiceNow-Instanz mit einem Splunk Heavy Forwarder.

    Vorbereitungen

    Wichtig:
    Health Log Analytics bietet keine Unterstützung für IPv6. Konfigurieren Sie den MID-Server auf IPv4, um mit der Anwendung zu arbeiten.
    • Sie müssen MID-Server mit aktivierter Protokollerfassungsfunktion installiert und konfiguriert haben.

      MID Server-Konfiguration mit aktivierter Protokollerfassungsfunktion.

    • Wenn die IP-Adresse MID-Server durch Network Address Translation (NAT), ein Lastenausgleichsmodul oder ein ähnliches Gerät verfügbar gemacht wird, muss es sich um eine öffentliche IP-Adresse handeln. Fügen Sie in den Eigenschaften des MID-Server eine Eigenschaft mit dem Namen mid.public_ip mit der öffentlichen IP-Adresse als Wert hinzu. Weitere Informationen finden Sie unter MID Server-Eigenschaften erstellen.
    • Weitere Informationen zur Übermittlung von Protokollen mit SSL TLS-Verschlüsselung finden Sie im Artikel Streaming Data With Rsyslog & Filebeat Using SSL [KB0866319] (Daten mit Rsyslog & Filebeat über SSL streamen) in der Knowledge Base des Now Support.
    • Konfigurieren Sie Splunk, um Protokolle mit Syslog an Ihre ServiceNow-Instanz weiterzuleiten.
    • Die Konfiguration dieser Dateneingabe setzt das Vorhandensein einer Umgebungsvariablen namens $ SPLUNK_HOME voraus. In Unix-ähnlichen Umgebungen verweist diese Variable normalerweise auf /opt/splunk.
      Hinweis:
      In der Windows-Umgebung wird dieselbe Verzeichnisstruktur verwendet, allerdings mit umgekehrten Schrägstrichen (\).

    Erforderliche Rolle: evt_mgmt_admin

    Warum und wann dieser Vorgang ausgeführt wird

    Dieses Setupverfahren dient zum Streamen von Protokollen an Ihre Instanz mit einem Splunk Heavy Forwarder. Wenn Sie keine Heavy Forwarder verwenden können, können Sie stattdessen einen Universal Forwarder verwenden. Weitere Informationen finden Sie im Artikel Splunk Universal Forwarder as a Shipping method [KB0961378] (Splunk Universal Forwarder als Versandmethode) in der Knowledge Base des Now Support.

    Hinweis:
    Ein ausgefallener MID-Server kann eine Blockade in Ihrer Splunk-Pipeline verursachen. Eine volle Verarbeitungswarteschlange wirkt sich nicht auf die Pipeline aus.
    Hinweis:
    Alle Splunk-Konfigurationsdateien befinden sich im Ordner $SPLUNK_HOME/etc/system/local/. Wenn eine Konfigurationsdatei, die Sie ändern müssen, nicht vorhanden ist, erstellen Sie sie und speichern Sie sie in diesem Ordner.

    Prozedur

    1. Navigieren zu Alle > Health Log Analytics > Dateneingabe > Dateneingaben.
    2. Wählen Sie auf der Seite „Data Inputs“ (Dateneingaben) die Option Neu aus.
    3. Wählen Sie die Splunk-Dateneingabe.
    4. Füllen Sie die Formularfelder auf der Registerkarte Erste Schritte aus.
      Feldbeschreibungen finden Sie unter Splunk Dateneingabe-Konfigurationsfelder.
    5. Fügen Sie auf der Registerkarte Outputs.conf der Datei outputs.conf die folgenden Absätze hinzu, damit der Versender Protokolldaten über das ausgewählte Transportprotokoll und den ausgewählten Port weiterleitet, und wählen Sie dann Weiter aus.
      Hinweis:
      Wenn Sie bereits Ausgaben konfiguriert haben, führen Sie diese Zeilen mit Ihrer vorhandenen Konfiguration zusammen.
      • Weiterleitung über TCP:
        Hinweis:
        Verwenden Sie den ersten Absatz nur, wenn Sie noch keinen tcpout-Absatz konfiguriert haben. Der zweite Absatz ist für die Weiterleitung an Health Log Analytics über TCP erforderlich.
        
[tcpout]
indexAndForward = 1
defaultGroup = nothing

[tcpout:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
sendCookedData = false
compressed = false

      • Weiterleitung über UDP:

        Hinweis:
        Verwenden Sie den ersten Absatz nur, wenn Sie noch keinen syslog-Absatz konfiguriert haben. Der zweite Absatz ist für die Weiterleitung an Health Log Analytics über UDP erforderlich.
        
[syslog]defaultGroup = nothing

[syslog:health_log_analytics]
server = ip-172-31-17-121.us-east-2.compute.internal:5000
    6. Bearbeiten Sie auf der Registerkarte Props.conf die Datei props.conf und wählen Sie Weiter aus.
      1. Ändern Sie vorhandene Absätze oder fügen Sie Absätze hinzu, um Quelltypen, Anwendungsservices und Hosts zur Weiterleitung an Health Log Analytics zu markieren.
        Hinweis:
        Um optimale Ergebnisse zu erzielen, markieren Sie nur Quelltypen zur Weiterleitung.
        Verwenden Sie beim Hinzufügen von Absätzen folgende Namenformate:
        • Quelltypen: [<source type>]. Beispiel: [syslog]
        • Quellen (nicht empfohlen): [source::<source>]. Beispiel: [source::myApp]
        • Hosts (nicht empfohlen): [host::<host>]. Beispiel: [host::10.9.8.7]
      2. Fügen Sie am Ende jedes Absatzes, den Sie entweder über TCP oder UDP an Health Log Analytics weiterleiten möchten, die folgende Zeile hinzu.
        • Weiterleitung über TCP:
          TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla
        • Weiterleitung über UDP:
          TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp

          Diese Zeile wendet die Transformation CLONE_SOURCETYPE auf die Daten an, um zu verhindern, dass die für die Health Log Analytics-Verarbeitung erforderliche Bearbeitung Ihre vorhandene Datenpipeline beeinträchtigt. Um beispielsweise alle Protokolle vom Quelltyp „syslog“ an Health Log Analytics zu senden, gehen Sie wie folgt vor:

          [syslog]
                                    #existing configuration goes here
                                    TRANSFORMS-cloned_data = clone_for_hla_store_sourcetype, clone_for_hla_udp
      3. Fügen Sie den folgenden Absatz hinzu, um alle relevanten Transformationen anzuwenden, die für die Health Log Analytics-Verarbeitung erforderlich sind:
        Hinweis:
        Mit Splunk können Sie vertrauliche Daten im geklonten Quelltyp für das ausgewählte Protokoll anonymisieren. Weitere Informationen finden Sie im Abschnitt „Anonymize data“ (Daten anonymisieren) in der Splunk-Dokumentation.
        • Weiterleitung über TCP:
          [send_to_hla_tcp]
TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
        • Weiterleitung über UDP:
          [send_to_hla_udp]
TRANSFORMS-health_log_analytics = health_log_analytics_add_sourcetype, health_log_analytics_add_host, health_log_analytics_add_source, health_log_analytics_add_syslog5424, health_log_analytics_add_index, health_log_analytics_add_syslogHost, health_log_analytics_add_time
    7. Fügen Sie auf der Registerkarte Transforms.conf der Datei transforms.conf die folgenden Absätze hinzu und wählen Sie anschließend Weiter aus.
      Der dritte Absatz klont die Protokolle zur weiteren Bearbeitung, ohne sich auf die vorhandene Indizierung auszuwirken. Die verbleibenden Absätze fügen die Informationen hinzu, die für die korrekte Verarbeitung von Health Log Analytics erforderlich sind.
      Hinweis:
      Sie können sensible Daten verschleiern, indem Sie hier eine Transformation hinzufügen und dann den Absatz des geklonten Quelltyps in der Datei props.conf ändern.
      [accepted_keys]
#Custom field for preserving sourcetype
hla_sourcetype_preservation=_hla_sourcetype

#Store sourcetype in a custom field, since CLONE_SOURCETYPE overwrites it
[clone_for_hla_store_sourcetype]
SOURCE_KEY = MetaData:Sourcetype
REGEX = ^sourcetype::(.+)$
FORMAT = hla_sourcetype::$1
DEST_KEY = _hla_sourcetype

[clone_for_hla]
REGEX=.
DEST_KEY = _TCP_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_tcp

#Only used in case of UDP forwarding
[clone_for_hla_udp]
REGEX=.
DEST_KEY = _SYSLOG_ROUTING
FORMAT = health_log_analytics
CLONE_SOURCETYPE=send_to_hla_udp

#Add metadata to the log message, since metadata is lost when forwarding externally
[health_log_analytics_add_sourcetype]
SOURCE_KEY = _hla_sourcetype
REGEX = ^hla_sourcetype::(.+)$
FORMAT = sourcetype="$1"] $0
DEST_KEY = _raw

[health_log_analytics_add_host]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = host="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_source]
SOURCE_KEY = MetaData:Source
REGEX = ^source::(.+)$
FORMAT = source="$1" $0
DEST_KEY = _raw

[health_log_analytics_add_syslog5424]
REGEX=.
FORMAT = - - [sdid@1234 $0
DEST_KEY = _raw

[health_log_analytics_add_index]
SOURCE_KEY = _MetaData:Index
REGEX = ^(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_syslogHost]
SOURCE_KEY = MetaData:Host
REGEX = ^host::(.+)$
FORMAT = $1 $0
DEST_KEY = _raw

[health_log_analytics_add_time]
SOURCE_KEY = _time
REGEX = ^(.+)$
FORMAT = <182>1 $1 $0
DEST_KEY = _raw
    8. Starten Sie auf der Registerkarte Finish.conf Splunk neu, indem Sie den Befehl $SPLUNK_HOME/bin/splunk restart splunkd ausführen.
    9. Wählen Sie Speichern.
      Health Log Analytics fügt den Dateneingabedatensatz in die Dateneingabentabelle ein.
    10. Stellen Sie sicher, dass die Dateneingabe richtig konfiguriert ist, indem Sie Verbindung testenauswählen.

      Health Log Analytics versucht, MID-Server mit dem Daten-Repository zu verbinden.

      • Wenn die Verbindung hergestellt wurde, ist die Schaltfläche Verbindung testen deaktiviert und die Schaltfläche Veröffentlichen aktiviert.
      • Wenn die Verbindung fehlgeschlagen ist, wird der Grund für den Fehler im Feld Fehlermeldung angezeigt. Dieses Feld wird nur angezeigt, wenn ein Streaming-Fehler aufgetreten ist.

        Beheben Sie das Problem, wählen Sie Speichern aus, wenn Sie die Konfiguration geändert haben, und wählen Sie dann Verbindung testen aus, um die Verbindung erneut zu testen.

        Hinweis:
        Sie können die Dateneingabekonfiguration nur veröffentlichen, wenn die Verbindung erfolgreich erstellt wurde.
      Hinweis:
      Sie können die zuletzt veröffentlichte Konfiguration wiederherstellen, indem Sie Änderungen rückgängig machenwählen. Diese Option ist nur verfügbar, wenn Sie eine zuvor veröffentlichte Konfiguration ändern.
    11. Wählen Sie Veröffentlichen aus, um die Dateneingabe im MID-Serverzu veröffentlichen.

    Ergebnisse

    Die Dateneingabe streamt Protokollnachrichten an Ihre Instanz mit einem Splunk-Absender.

    Hinweis:
    Wenn die KI-Engine Health Log Analytics ausgefallen ist und das Daten-Streaming beendet wurde, wird oben auf der Konfigurationsseite der Dateneingabe eine Benachrichtigung angezeigt. Wenden Sie sich in diesem Fall an den Support von ServiceNow.

    Nächste Maßnahme

    Stellen Sie sicher, dass die Dateneingabe aus Streaming-Daten besteht.