Apache Kafka verificações e políticas padrão

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 3 min. de leitura

    • Agent Client Collector fornece as seguintes políticas para Apache Kafka monitoramento de integridade. As políticas vêm com as verificações especificadas na tabela indicada. Políticas e verificações estão disponíveis para Windows e Linux.

    Tabela 1. Apache Kafka Eventos de tópico
    Verificação Descrição Uso Saída
    kafka.check-zookeeper-status Gera um evento crítico se o Kafka Zookeeper hospedado estiver inativo. commonchecks check-kafka-zk-status [flags]

    Onde estão os sinalizadores:

    -p, --port = Porta do Zookeeper (padrão "2181").

    Exemplo de uso: commonchecks check-kafka-zk-status -p 2181

    		 Status do Kafka Zookeeper OK: o Kafka Zookeeper está ativo!
    kafka.check-topic-replicas Gera um evento crítico se algum tópico tiver partições com réplicas desconhecidas. commonchecks check-kafka-replicas [flags]

    Onde estão os sinalizadores:

    • -p, --port = Porta do Zookeeper (padrão "2181").
    • -d, --detailed = Lista as réplicas desconhecidas em cada partição de um tópico.
    • -i, --include_list = Lista separada por vírgulas para incluir tópicos (permite * caractere curinga)
    • -e, --exclude_list = Lista separada por vírgulas para excluir tópicos (permite * caractere curinga)
    Exemplo de uso: commonchecks check-kafka-replicas -H localhost -p 2181 -i "test*" -e "accTopic,*offsets" -d

    <topic>tem partições com réplicas desconhecidas. As réplicas desconhecidas são: {"0":["0"],"1":["0"],"2":["0"]}.

    <topic>tem partições com réplicas desconhecidas. As réplicas desconhecidas são: {"0":["0"]}.
    kafka.check-topic-replication-factor Gera um evento crítico se o fator de replicação de pelo menos um tópico estiver acima ou abaixo do parâmetro do fator de replicação fornecido. commonchecks check-kafka-rf [flags]

    Onde estão os sinalizadores:

    • -p, --port = Porta do Zookeeper (padrão "2181").
    • -d, --detailed = Lista as réplicas desconhecidas em cada partição de um tópico.
    • -i, --include_list = Lista separada por vírgulas para incluir tópicos (permite * caractere curinga)
    • -e, --exclude_list = Lista separada por vírgulas para excluir tópicos (permite * caractere curinga)
    • -r, --fator de replicação = Fator de replicação esperado para um tópico (padrão 1)

    Exemplos: commonchecks check-kafka-partitions -H localhost -p 2181 -r 2 -i "accMetrics,*Topic" -e "testTopic"

    TestTopic tem fator de replicação 1, que é menor do que o esperado: 2.

    accMetrics tem fator de replicação 1, que é menor do que o esperado: 2.
    kafka.check-topic-leader Gera um evento crítico se algum tópico tiver partições com líderes desconhecidos ou réplica não preferencial como líder. commonchecks check-kafka-leader [flags]

    Onde estão os sinalizadores

    • -p, --port = Porta do Zookeeper (padrão "2181").
    • -d, --detailed = Uma lista de partições em cada tópico com líderes desconhecidos ou réplicas não preferenciais.
    • -i, --include_list = Lista separada por vírgulas para incluir tópicos (permite * caractere curinga)
    • -e, --exclude_list = Lista separada por vírgulas para excluir tópicos (permite * caractere curinga)

    Exemplos:

    commonchecks check-kafka-leader -H localhost -p 2181 -d -e "*offsets"

    <topic>contém, partições com réplica não preferencial como líder. (partições com réplicas não preferenciais são [0]).

    <topic>contém, partições com réplica não preferencial como líder. (partições com réplicas não preferenciais são [0]).
    kafka.check-topic-partitions Gera eventos críticos se o número de partições de um tópico for menor que o parâmetro min_partitions. commonchecks check-kafka-partitions [flags]

    Onde estão os sinalizadores:

    • -p, --port = Porta do Zookeeper (padrão "2181").
    • -P, --min_partitions = Mínimo de partições para um tópico (padrão 1).
    • -i, --include_list = Lista separada por vírgulas para incluir tópicos (permite * caractere curinga)
    • -e, --exclude_list = Lista separada por vírgulas para excluir tópicos (permite * caractere curinga)

    Exemplo de uso 1: commonchecks check-kafka-partitions -H localhost -p 2181 -P 3

    <topic>tem 1 partição, são esperadas pelo menos 3.

    <topic>tem 1 partição, são esperadas pelo menos 3.

    <topic>tem 1 partição, são esperadas pelo menos 3.
    Exemplo de uso 2: commonchecks check-kafka-partitions -H localhost -p 2181 -P 3 -i "accMetrics,*Topic" -e "testTopic"

    <topic>tem 1 partição, são esperadas pelo menos 3.

    <topic>tem 1 partição, são esperadas pelo menos 3.
    Nota:
    Os valores dos parâmetros include_list e exclude_list devem ser colocados entre aspas duplas. Por exemplo: "test1,*topic".
    Tabela 2. Apache Kafka Eventos do agente
    Verificação Descrição Uso Saída
    kafka.check-broker-status Gera um evento crítico se o agente Kafka no host estiver inativo. commonchecks check-kafka-broker-status [flags]

    Onde estão os sinalizadores:

    -p, --port = Porta do agente Kafka (padrão "9092").

    Exemplo de uso: commonchecks check-kafka-broker-status -p 9092

    		 Status do agente do Kafka OK: o agente do Kafka ubuntu20:9092 está ativo!
    Tabela 3. Apache Kafka Métricas do agente
    Verificação Descrição Uso Saída
    kafka.metrics.broker Coleta métricas do agente Kafka do host. commonchecks metric-kafka-broker [flags]
    Onde estão os sinalizadores:
    • -J, --javapath = caminho do executável Java (o padrão é "java").
    • -j, --jmxport = Porta JMX (padrão "9999")

    Exemplo de uso: commonchecks metric-kafka-broker -J "/usr/bin/java" -j 9999

    hostname.Kafka.Broker.ReplicaManager.IsrExpandsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.DelayedOperationPurgatory.PurgatorySize.Fetch.Value 627.000

    hostname.Kafka.Broker.ControllerStats.UncleanLeaderElectionsPerSec.OneMinuteRate 0.000

    hostname.Kafka.Broker.RequestMetrics.RequestsPerSec.Produce.OneMinuteRate 0.000
    Tabela 4. Apache Kafka Métricas do Zookeeper
    Verificação Descrição Uso Saída
    kafka.metrics.zookeeper Coleta métricas do Zookeeper do host. commonchecks metric-kafka-zookeeper [flags]

    Onde o sinalizador é: -p, --adminserverport = Admin Server Port (padrão "8085")

    Exemplo de uso: commonchecks metric-kafka-zookeeper -p 8085

    hostname.Kafka.Zhookeeper.out standing_requests 2.000 1648183249

    hostname.Kafka.Zhookeeper.avg_latency 1.05 1648183249

    hostname.Kafka.Zhookeeper.num_alive_connections 1.000 1648183249

    hostname.Kafka.Zhookeeper.open_file_descriptor_count 124.000 1648183249