Configurar o conector do consumidor Apache Kafka

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 5 min. de leitura

    • Configure a instância do conector Consumer Apache Kafka para criar eventos a partir de mensagens de streaming coletadas pelo conector Apache Kafka.

    Antes de Iniciar

    Certifique-se de que o plug-in Gestão de eventos Connectors (sn_em_connector) esteja instalado na instância Now Platform.

    Função necessária: evt_mgmt_admin

    Procedimento

    1. Navegar até Todos > Event Management > Integrações > Instâncias do Conector.
    2. Selecione Novo.
    3. No formulário, preencha os campos.
      Tabela 1. Formulário de instância do conector
      Campo Valor
      Nome Nome descritivo e exclusivo do conector do consumidor do Kafka.
      Descrição Descrição a ser usada pela instância de coleção de eventos do consumidor do Kafka.
      Definição do conector Nome da definição do conector necessária, que neste caso deve ser Consumidor do Kafka.
      IP do Host O IP do host.
      Nota:
      Este campo deve conter um valor para concluir o processo de criação, portanto, o espaço reservado 1.1.1.1 deve ser inserido como um valor temporário.
      Última execução da coleta de evento Este campo é definido automaticamente como o último valor de tempo de execução.
      Status da última coleta de métrica Este campo é definido automaticamente com o último status de tempo de execução.
      Programação de coleta de evento (segundos) A frequência em segundos com que o sistema verifica se há novos eventos do consumidor do Kafka. O valor padrão é 60 segundos.
      Última mensagem de erro Este campo é definido automaticamente como a última mensagem de erro.
    4. Para PLAINTEXT ou SASL_PLAINTEXT, no campo Credencial, crie uma credencial de autenticação básica.
      Use o tipo de credencial SSL do Kafka para uma nova instância do conector de extração do Kafka com autenticação SASL_PLAINTEXT. Vá para a etapa 5.

      Use o tipo de credencial SSL do Kafka quando o valor do parâmetro sasl.enabled. MECANISMO ou SASL.Mecanismodo servidor Kafka não for igual a PLANO. Vá para a etapa 5.

      1. Selecione o ícone de pesquisa Ícone de pesquisa ao lado do campo Credencial.
      2. Na tela Credenciais, selecione Novo.
      3. Na lista de credenciais disponíveis, selecione Credenciais de autenticação básica.
      4. Na tela Autenticação básica, forneça informações para a autenticação PLAINTEXT, que não requer credenciais, ou para a autenticação SASL_PLAINTEXT, que requer credenciais.
        • Para autenticação de TEXTO PLANO, no campo Nome, digite qualquer valor e deixe os campos Nome de usuário e Senha vazios.
        • Para autenticação SASL_PLAINTEXT, forneça um nome para a credencial no campo Nome, de preferência precedido por SASL. Forneça o nome de usuário e a senha nos campos Nome de usuário e Senha.
      5. Selecione Enviar.
    5. Para uma credencial de autenticação SASL_PLAINTEXT, SSL ou SASL_SSL, no campo Credencial, crie uma credencial SSL do Kafka.
      1. Selecione o ícone de pesquisa Ícone de pesquisa ao lado do campo Credencial.
      2. Na tela Credenciais, selecione Novo.
      3. Na lista de credenciais disponíveis, selecione Credenciais SSL do Kafka.
      4. Na tela Autenticação SSL do Kafka, preencha os campos de Credenciais SSL do Kafka.
        Para obter as descrições dos campos de credenciais SSL do Kafka, consulte .
        Nota:
        Se você desmarcar o campo Desabilitar verificação de nome de host, no campo Propriedades adicionais do consumidor do Kafka, insira o valor do parâmetro ssl.endpoint.identification.algorithm igual ao valor do parâmetro do servidor Kafka. Por exemplo: 
        ssl.enabled.protocols=TLSv1.2,TLSv1.1,TLSv1;
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username=<username> password=<password>;
sasl.enabled.mechanisms=PLAIN;ssl.endpoint.identification.algorithm=;
      5. Selecione Enviar.
    6. Clique com o botão direito no cabeçalho do formulário e selecione Salvar.
    7. Na tabela que apresenta os valores de instância do conector, verifique os valores de instância do conector preenchidos com base na configuração do Kafka e na mensagem (carga JSON) que você recebeu do tópico do Kafka.

      Altere os valores da instância do conector, se necessário.

      Tabela 2. Tabela Valores de instância de conector
      Campo Descrição
      authentication_type

      O tipo de autenticação do consumidor do Kafka. Os valores compatíveis no momento são:

      • TEXTO PLANO (sem autenticação) (Padrão)

      • SASL_PLAINTEXT (autenticação básica - nome de usuário e senha)
      bootstrap_servers

      Os servidores que estabelecem a conexão com o cluster Kafka. Os valores neste campo devem estar no formato host1:port1, host2:port2 e assim por diante (separados por vírgulas).

      Este campo é obrigatório.
      consumer_group_name

      O nome do grupo de consumidores.

      Se o mesmo tópico do Kafka estiver sendo consumido de duas instâncias diferentes, use nomes de grupo de consumidores diferentes para que todos os eventos sejam capturados para ambas as instâncias.

      Este campo é obrigatório.
      time_of_event_field

      O nome do campo na carga/mensagem JSON que inclui a hora do evento.

      Se um campo na carga/mensagem JSON incluir a hora do evento, esse valor deverá ser o valor deste parâmetro.

      Se nenhum valor de campo de hora for fornecido, a hora recebida do evento na instância ServiceNow será definida como time_of_event.

      O campo time_of_event deve ser um campo de primeiro nível na carga/mensagem JSON. Nomes de campo aninhados não são permitidos.
      fuso horário

      O fuso horário do campo time_of_event na carga/mensagem JSON.

      O valor de fuso horário não é usado quando o campo time_of_event está vazio.

      Por exemplo, se o time_of_event na carga/mensagem estiver no fuso horário IST, o valor será GMT+0530.

      Padrão: GMT.
      data_formato

      O formato date_time do campo time_of_event na carga/mensagem JSON.

      Se nenhum valor de campo de hora for fornecido, a hora em que o evento foi recebido na instância no horário GMT será usada. O valor de date_time não é usado quando o campo time_of_event está vazio.

      Padrão: aaaa-MM-dd HH:mm:sss.
      depurar Opção para exibir logs de depuração. Padrão: falso
      logPayloadForDebug Opção para exibir logs relacionados à carga JSON. Padrão: falso
      tópico

      O tópico do Kafka do qual as mensagens são buscadas.

      Este campo é obrigatório.
    8. Na seção MID Servers para conectores, especifique um MID Server que esteja ativo e seja válido.
      Nota:
      Você pode configurar vários MID Servers. Se o primeiro servidor estiver inativo, o próximo MID Server será usado. Se esse MID Server não estiver disponível, o próximo será selecionado e assim por diante. MID Servers são classificados de acordo com a ordem em que seus detalhes foram inseridos na seção MID Servers para conectores.

      Se você não especificar um MID Server, um MID Server disponível que tenha um intervalo de IP correspondente será usado.

    9. Clique com o botão direito no cabeçalho do formulário e selecione Salvar.
    10. Teste a conexão entre o MID Server e o conector do consumidor do Kafka.
      1. Selecione Conector de teste.
      2. Se a conexão de teste falhar, verifique se a credencial é válida e se a rede está conectada de MID Server ao agente do Kafka.
        Nota:
        A validação do nome do tópico do Kafka ocorre somente na validação do Conector de teste.
    11. Após um teste bem-sucedido, ative a instância do conector marcando a caixa de seleção Ativo.
    12. Selecione o botão Atualizar.

    O que Fazer Depois

    Depois que o conector for criado, você deverá mapear os campos. Para obter mais informações, consulte Mapear atributos de carga de mensagem do Kafka para campos de alerta.