Apache Kafka – Standardprüfungen und Richtlinien

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 3 Minuten Lesedauer

    • Agent Client Collector bietet die folgenden Richtlinien für die Apache Kafka-Systemüberwachung. Die Richtlinien beinhalten die in der angegebenen Tabelle ausgewiesenen Prüfungen. Richtlinien und Prüfungen sind sowohl für Windows als auch für [ Linuxverfügbar.

    Tabelle : 1. Apache Kafka-Themenereignisse
    Prüfung Beschreibung Verwendung Ausgabe
    kafka.check-zookeeper-status Löst ein kritisches Ereignis aus, wenn der gehostete ZooKeeper von Apache Kafka ausgefallen ist. commonchecks check-kafka-zk-status [Kennzeichnungen]

    Mit folgenden Kennzeichnungen:

    -p, --port = ZooKeeper-Port (Standardwert: „2181“).

    Verwendungsbeispiel: commonchecks check-kafka-zk-status -p 2181

    		 Kafka Zookeeper Status OK: Kafka-Zookeeper is Up! (Kafka-ZooKeeper-Status OK: Kafka-ZooKeeper ist aktiv!)
    kafka.check-topic-replicas Löst ein kritisches Ereignis aus, wenn ein Thema Partitionen mit unbekannten Replikaten aufweist. commonchecks check-kafka-replicas [Kennzeichnungen]

    Mit folgenden Kennzeichnungen:

    • -p, --port = ZooKeeper-Port (Standardwert: „2181“).
    • -d, --detailed = Listet unbekannte Replikate in jeder Partition eines Themas auf.
    • -i, --include_list = Kommagetrennte Liste zum Einbeziehen von Themen („*“ als Platzhalterzeichen zulässig)
    • -e, --exclude_list = Kommagetrennte Liste zum Ausschließen von Themen („*“ als Platzhalterzeichen zulässig)
    Verwendungsbeispiel: commonchecks check-kafka-replicas -H localhost -p 2181 -i "test*" -e "accTopic,*offsets" -d

    <topic> has partitions with unknown replicas (<Thema> hat Partitionen mit unbekannten Replikaten.) Unknown replicas are: {"0":["0"],"1":["0"],"2":["0"]} (Unbekannte Replikate sind: {"0":["0"],"1":["0"],"2":["0"]}).

    <topic> has partitions with unknown replicas (<Thema> hat Partitionen mit unbekannten Replikaten.) Unknown replicas are: {"0":["0"]} (Unbekannte Replikate sind: {"0":["0"]}).
    kafka.check-topic-replication-factor Löst ein kritisches Ereignis aus, wenn der Replikationsfaktor mindestens eines Themas über oder unter dem angegebenen Replikationsfaktorparameter liegt. commonchecks check-kafka-rf [Kennzeichnungen]

    Mit folgenden Kennzeichnungen:

    • -p, --port = ZooKeeper-Port (Standardwert: „2181“).
    • -d, --detailed = Listet unbekannte Replikate in jeder Partition eines Themas auf.
    • -i, --include_list = Kommagetrennte Liste zum Einbeziehen von Themen („*“ als Platzhalterzeichen zulässig)
    • -e, --exclude_list = Kommagetrennte Liste zum Ausschließen von Themen („*“ als Platzhalterzeichen zulässig)
    • -r, --replication factor = Erwarteter Replikationsfaktor für ein Thema (Standardwert: 1)

    Beispiele: commonchecks check-kafka-partitions -H localhost -p 2181 -r 2 -i "accMetrics,*Topic" -e "testTopic"

    TestTopic has replication factor 1, which is less than expected: 2. (TestTopic hat Replikationsfaktor 1, was kleiner ist als erwartet: 2).

    accMetrics has replication factor 1, which is less than expected: 2. (accMetrics hat Replikationsfaktor 1, was kleiner ist als erwartet: 2).
    kafka.check-topic-leader Löst ein kritisches Ereignis aus, wenn ein Thema Partitionen mit unbekannten führenden Komponenten (Leadern) oder nicht bevorzugten Replikaten als Leader aufweist. commonchecks check-kafka-leader [Kennzeichnungen]

    Mit folgenden Kennzeichnungen:

    • -p, --port = ZooKeeper-Port (Standardwert: „2181“).
    • -d, --detailed = Eine Liste von Partitionen in jedem Thema mit unbekannten Leadern oder nicht bevorzugten Replikaten.
    • -i, --include_list = Kommagetrennte Liste zum Einbeziehen von Themen („*“ als Platzhalterzeichen zulässig)
    • -e, --exclude_list = Kommagetrennte Liste zum Ausschließen von Themen („*“ als Platzhalterzeichen zulässig)

    Beispiele:

    commonchecks check-kafka-leader -H localhost -p 2181 -d -e "*offsets"

    <topic> contains, partitions with unpreferred replica as leader. (partitions with unpreferred replicas are [0]). (<Thema> enthält Partitionen mit nicht bevorzugten Replikaten als Leader. (Partitionen mit nicht bevorzugten Replikaten sind [0])).

    <topic> contains, partitions with unpreferred replica as leader. (partitions with unpreferred replicas are [0]). (<Thema> enthält Partitionen mit nicht bevorzugten Replikaten als Leader. (Partitionen mit nicht bevorzugten Replikaten sind [0])).
    kafka.check-topic-partitions Löst kritische Ereignisse aus, wenn die Anzahl der Partitionen für ein Thema kleiner ist als der Parameter min_partitions. commonchecks check-kafka-partitions [Kennzeichnungen]

    Mit folgenden Kennzeichnungen:

    • -p, --port = ZooKeeper-Port (Standardwert: „2181“).
    • -P, --min_partitions = Mindestanzahl der Partitionen für ein Thema (Standardwert: 1).
    • -i, --include_list = Kommagetrennte Liste zum Einbeziehen von Themen („*“ als Platzhalterzeichen zulässig)
    • -e, --exclude_list = Kommagetrennte Liste zum Ausschließen von Themen („*“ als Platzhalterzeichen zulässig)

    Verwendungsbeispiel 1: commonchecks check-kafka-partitions -H localhost -p 2181 -P 3

    <topic> has 1 partitions, expected at least 3 (<Thema> hat 1 Partition, mindestens 3 erwartet).

    <topic> has 1 partitions, expected at least 3 (<Thema> hat 1 Partition, mindestens 3 erwartet).

    <topic> has 1 partitions, expected at least 3 (<Thema> hat 1 Partition, mindestens 3 erwartet).
    Verwendungsbeispiel 2: commonchecks check-kafka-partitions -H localhost -p 2181 -P 3 -i "accMetrics,*Topic" -e "testTopic"

    <topic> has 1 partitions, expected at least 3 (<Thema> hat 1 Partition, mindestens 3 erwartet).

    <topic> has 1 partitions, expected at least 3 (<Thema> hat 1 Partition, mindestens 3 erwartet).
    Hinweis:
    Werte für die Parameter include_list und exclude_list müssen in doppelte Anführungszeichen gesetzt werden. Beispiel: "test1,*topic".
    Tabelle : 2. Apache Kafka-Broker-Ereignisse
    Prüfung Beschreibung Verwendung Ausgabe
    kafka.check-broker-status Löst ein kritisches Ereignis aus, wenn der Kafka-Broker auf dem Host ausgefallen ist. commonchecks check-kafka-broker-status [Kennzeichnungen]

    Mit folgenden Kennzeichnungen:

    -p, --port = Port des Kafka-Brokers (Standardwert: „9092“).

    Verwendungsbeispiel: commonchecks check-kafka-broker-status -p 9092

    		 Kafka Broker Status OK: Kafka Broker ubuntu20:9092 is Up! (Kafka-Broker-Status OK: Kafka-Broker ubuntu20:9092 ist aktiv!)
    Tabelle : 3. Apache Kafka-Broker-Metriken
    Prüfung Beschreibung Verwendung Ausgabe
    kafka.metrics.broker Sammelt Kafka-Broker-Metriken vom Host. commonchecks metric-kafka-broker [Kennzeichnungen]
    Mit folgenden Kennzeichnungen:
    • -J, --javapath  = Pfad der ausführbaren Java-Datei (Standardwert: „java“).
    • -j, --jmxport = JMX-Port (Standardwert: „9999“)

    Verwendungsbeispiel: commonchecks metric-kafka-broker -J "/usr/bin/java" -j 9999

    hostname.Kafka.Broker.ReplicaManager.IsrExpandsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.DelayedOperationPurgatory.PurgatorySize.Fetch.Value 627.000

    hostname.Kafka.Broker.ControllerStats.UncleanLeaderElectionsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.RequestMetrics.RequestsPerSec.Produce.OneMinuteRate 0.000
    Tabelle : 4. Apache Kafka-ZooKeeper-Metriken
    Prüfung Beschreibung Verwendung Ausgabe
    kafka.metrics.zookeeper Sammelt ZooKeeper-Metriken vom Host. commonchecks metric-kafka-zookeeper [Kennzeichnungen]

    Mit folgender Kennzeichnung: -p, --adminserverport = Port des Verwaltungsservers (Standardwert: „8085“)

    Verwendungsbeispiel: commonchecks metric-kafka-zookeeper -p 8085

    hostname.Kafka.Zookeeper.outstanding_requests 2.000 1648183249

    hostname.Kafka.Zookeeper.avg_latency 1.05 1648183249

    hostname.Kafka.Zookeeper.num_alive_connections 1.000 1648183249

    hostname.Kafka.Zookeeper.open_file_descriptor_count 124.000 1648183249