Automatische Zuordnung und Zuordnung von Protokolldaten

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 3 Minuten Lesedauer

    • Standardmäßig versucht die KI-Engine von Health Log Analytics, jede eingehende Protokollzeile automatisch den richtigen Tags zuzuordnen. Sie können die Ergebnisse der automatischen Zuordnung manuell ändern, indem Sie eine JavaScript-Funktion definieren.

    Automatische Zuordnung eingehender Protokollzeilen

    Bei der automatischen Zuordnung von Health Log Analytics werden Protokollbeispiele und Metadaten zu drei Tags zugewiesen: Anwendungsservice, Komponente und Quelltyp. Die Zuweisung zum Anwendungsservice basiert auf dem im Dateneingabe-Setup angegebenen Anwendungsservice. Die verbleibenden Tags werden automatisch zugewiesen.

    In der folgenden Beispielprotokollzeile verwendet Health Log Analytics beispielsweise das Feld „source“, um die Komponente und den Quelltyp zu finden.

    {"beat":{"version":"6.8","name":"abc3.prd.acme.com","hostname":"abc3.prd.acme.com"},"@timestamp":"2020-08-27T10:12:24.792Z","prospector":{"type":"log"},"message":"**** User null is requesting the following page http://www.acme.com PROPS:{"subcategory1":"home pages","httpStatus":"200","loginLevel":"Anonymous","userAgent":"Mozilla5.0", ("pageUrl":\"http://www.acme.com","host":"abc3.prd.acme.com","@version":"1","source":"/opt/oracle/weblogic/abc/online_store3/logs/online_store3.out","offset":3951550786}

    Im Beispiel extrahiert Health Log Analytics die Zeichenfolge „online_store“. Es analysiert die folgenden Felder, wenn sie in der Protokollzeile vorhanden sind: source, path, channel, namespace_name, name, pod_name, source_name und aws_lambda_name. Wenn Daten über Syslog gesendet werden, wird auch das syslog-Tag analysiert.

    Extraktion nicht benötigter Daten stoppen
    Wenn eine extrahierte Zeichenfolge nicht aussagekräftig genug ist oder redundanten Text oder Informationen enthält, können Sie die Extraktion von verzichtbaren Daten dieser Art stoppen. Weitere Informationen finden Sie unter Extraktion nicht benötigter Protokolldaten stoppen.
    Extraktion bestimmter Daten sicherstellen
    Sie können sicherstellen, dass Health Log Analytics bestimmte gewünschte Begriffe extrahiert. Weitere Informationen finden Sie unter Extraktion bestimmter Protokolldaten sicherstellen.

    Dateneingabequellen zuordnen

    Sie können die Ergebnisse der automatischen Zuordnung manuell ändern, indem Sie eine JavaScript-Funktion definieren. Mit der Dateneingabezuordnung können Sie Ihre Protokolldaten nach Anwendungsservice und Verfügbarkeitszone organisieren. Ein einzelner Anwendungsservice kann mehrere Komponenten enthalten, und eine Komponente kann Protokolle von vielen verschiedenen Quelltypen empfangen. Ein Paar aus Anwendungsservice und Komponente ist jedoch eindeutig. Quelltypen basieren auf einer bestimmten Protokollstruktur und einem bestimmten Format. Anwendungsservices und Komponenten sind weiter gefasst und werden daher hauptsächlich zur logischen Zuordnung verwendet.

    Durch die Aktivierung des Testmodus wird ein Aufblasen des Speichers Elasticsearch mit Beispieldaten vermieden, die nur zur Optimierung der Protokolldatenzuordnung verwendet werden. Wenn sich die Dateneingabe im Testmodus befindet, erstellt Health Log Analytics nicht die Quelltypen, Quellen oder andere Objekte, die im Standard-Flow erstellt werden. Die gestreamten Daten werden in dedizierten temporären Indizes Elasticsearch gespeichert, die als Komponenten im Protokoll-Viewer angezeigt werden. Wenn Sie das Skript veröffentlichen und den Testmodus beenden, werden diese temporären Indizes gelöscht, um den Speicherplatzverbrauch zu minimieren.

    Wenn Sie eine JavaScript-Funktion definieren, wählen Sie Test, um das Ergebnis des Skripts so anzuzeigen, wie es derzeit angegeben ist. Mit dieser Funktionalität können Sie eine Vorschau der erstellten Quelltypen und Quellen anzeigen. Sie können das Skript dann verfeinern, bis das gewünschte Ergebnis erzielt wird. Beispielsweise kann es nützlich sein, das Testergebnis mehrerer Versionen der JavaScript-Funktion zu vergleichen.
    Hinweis:
    Standardmäßig verarbeitet der Test 100 Protokolldatenbeispiele. Sie können diese Anzahl in den Systemeigenschaften anpassen. Weitere Informationen finden Sie unter Globale Health Log Analytics-Systemeigenschaften konfigurieren.
    Während des Setups der Dateneingabe erstellt das System unter Umständen eine zu hohe Gesamtzahl von Dateneingabequellen. Dies kann beispielsweise auf ein fehlerhaftes Zuordnungsskript zurückzuführen sein. In den Systemeigenschaften können Sie Grenzwerte für die Anzahl der pro Dateneingabe erstellten Quellen konfigurieren:
    Systemeigenschaft Beschreibung Standard
    sn_occ.sources_warning_limit Warngrenze für die Anzahl der pro Dateneingabe erstellten Quellen. 500
    sn_occ.sources_critical_limit Kritische Grenze für die Anzahl der pro Dateneingabe erstellten Quellen. 600
    Die Anzahl der Protokollquellen, die eine bestimmte Dateneingabe erstellt hat, wird im Feld Quellenanzahl für diese Dateneingabe angezeigt. Wenn die Gesamtanzahl der während der Dateneingabekonfiguration erstellten Quellen die Warngrenze erreicht, sendet das System eine Warnbenachrichtigung per E-Mail. Außerdem wird eine Nachricht auf den Seiten Dateneingabezuordnung, Protokollquellen und Dateneingabe angezeigt. Die Benachrichtigung und die Nachricht enthalten die Gesamtzahl der bisher erstellten Quellen und die drei Dateneingaben, die die meisten Quellen zu dieser Gesamtzahl beigetragen haben. Wenn keine Aktion ausgeführt wird, erstellt das System weiterhin Quellen, bis die Gesamtzahl die kritische Grenze erreicht. In diesem Fall werden das Setup der Dateneingabe und das Streaming aus allen Dateneingaben automatisch beendet. Sie können Dateneingaben nicht manuell erneut starten, bis das Problem gelöst wurde. Um diesen Status zu beheben, folgen Sie den Anweisungen im Artikel How to handle too many sources in data inputs [KB0963067] (Umgang mit zu vielen Quellen in Dateneingaben) in der Knowledge Base des Now Support.

    Protokolldaten binden

    Durch das Binden von Protokolldaten an Konfigurationselemente (CIs) in Configuration Management Database (CMDB) können Sie die CMDB nach Endpunkten durchsuchen, die einem Protokoll entsprechen. Wenn Sie eine Dateneingabe konfigurieren, binden Sie Protokolleinträge an einen Anwendungsservice, der an ein CI in der CMDB gebunden ist. Durch das Binden von Protokolleinträgen, Anwendungsservices und CIs kann die KI-Engine von Health Log Analytics sie zur Verwendung in der Ursachenanalyse (RCA) korrelieren. Weitere Informationen finden Sie unter Dateneingaben konfigurieren (Rsyslog, Filebeat oder Winlogbeat) oder Dateneingaben konfigurieren (Elasticsearch).