Criar replicações de mensagem e tópico do Kafka no Stream Connect

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 4 min. de leitura

    • Configure replicações de mensagem e tópico para replicar dados entre o ambiente Apache Kafka e ServiceNowo .

    Antes de Iniciar

    • Função necessária: message_replication_admin
    • Este recurso requer uma assinatura. Para obter mais informações, consulte Usando Stream Connect para Apache Kafka.
    • Verifique se o Serviço de envio de mensagens Hermes e o Gerador de certificado PKI de instância estão funcionando.
    • Configure e inicie um MID Server. Para obter mais informações, consulte Configuring MID Servers. O MID Server deve ser capaz de acessar Hermes endpoints por meio do firewall. Trabalhe com o administrador da rede para garantir que os seguintes intervalos de portas estejam abertos.
      • Produtor: 4000–4050
      • Consumidor1: 4100–4150
      • Consumidor2: 4200–4250
    • A replicação de mensagem de conexão de fluxo usa um alias de conexão e credencial para se conectar ao Kafka local. Create a Connection & Credential alias com um tipo de conexãoKafka. Um alias de conexão e credencial requer uma conexão do Kafka e uma credencial SSL do Kafka.
    • A replicação de mensagens de conexão de fluxo requer o plug-in ServiceNow Stream Connect Installer [com.glide.hub.stream_connect.installer].

    Por Que e Quando Desempenhar Esta Tarefa

    Esta página mostra como criar um registro de replicação de mensagem e um registro de replicação de tópico Kafka associado.

    Um registro de replicação de mensagem representa um único cluster Kafka. Por exemplo, se você tiver dois clusters Kafka, crie dois registros de replicação de mensagens diferentes, um para cada cluster. Um registro de replicação de mensagem é o registro primário de todos os tópicos que estão sendo replicados de ou para esse cluster. Os registros de replicação de mensagem são armazenados na tabela Replicações de mensagem [sys_sc_message_replication].

    Um registro de Replicação de tópico do Kafka especifica a replicação de um único tópico de origem para um único tópico de destino. Você não pode replicar um único tópico de origem para vários destinos. Você só pode replicar para cada destino uma vez. Os registros de Replicação de tópico do Kafka são armazenados na tabela Replicações de tópico do Kafka [sys_kafka_topic_replication].

    Procedimento

    1. Navegar até Tudo > IntegrationHub > Conexão de fluxo > Replicações de mensagem e selecione Novo.
    2. No formulário Replicação de mensagem, preencha os campos.
      Tabela 1. Formulário de replicação de mensagem
      Campo Descrição
      Nome Nome da replicação de mensagem.
      Conexão de serviço de envio de mensagens Alias de conexão e credencial que especifica a qual serviço de envio de mensagens se conectar.
      Status Último status conhecido da replicação de mensagem. Esse campo é definido automaticamente.
      Mensagem de erro Mensagem de erro com base no último status conhecido da replicação de mensagem. Esse campo é definido automaticamente.
      Aplicação Escopo da aplicação para a replicação de mensagens. Esse campo é definido automaticamente.
      Ativo Opção para ativar a replicação de mensagens.
    3. Selecione Save (Salvar).
      Depois de salvar o formulário, a guia Replicações de tópico do Kafka aparecerá na parte inferior da página.
    4. Na guia Replicações de tópico do Kafka, selecione Novo.
    5. No formulário Replicação de tópico do Kafka, preencha os campos.
      Tabela 2. Formulário de replicação de tópico do Kafka
      Campo Descrição
      Nome

      Nome da replicação do tópico. O nome é gerado automaticamente com base nos valores em outros campos.

      Para gerar o Nome, insira os valores dos campos Direção, Tópico da ServiceNowe Nome do tópico e selecione Salvar.

      Quando a Direção é Para a ServiceNow, o Nome tem o seguinte formato: topic name [replication name] -> ServiceNow topic name [SN].

      Quando a Direção é Da ServiceNow, o Nome tem o seguinte formato: ServiceNow topic name [SN] -> topic name [replication name].
      Direção Direção da replicação do tópico.
      • Para a ServiceNow replica um tópico do ambiente Kafka local para ServiceNow.
      • Da ServiceNow replica um tópico de ServiceNow para o ambiente Kafka local.
      Tópico do ServiceNow Referência à tabela Tópicos do Kafka [sys_kafka_topic].
      Replicação Replicação de mensagem que gerencia a replicação deste tópico.
      Nome do tópico Nome do tópico em seu ambiente Kafka local.
      Ativo Opção para ativar a replicação do tópico.
      Status Último status conhecido da replicação do tópico. Esse campo é definido automaticamente.
      Mensagem de erro Mensagem de erro com base no último status conhecido da replicação do tópico. Esse campo é definido automaticamente.
      Rastrear no conjunto de atualizações atual Quando selecionada, a replicação de tópico é adicionada ao conjunto de atualizações atual, portanto, é mais simples promovê-la de subprodução para instâncias de produção. Pode ser necessário configurar o formulário para adicionar este campo.
    6. Selecione Enviar.
    7. Siga as etapas 1 a 6 para criar replicações de mensagem e tópico para todos os seus clusters e tópicos Kafka.

    Resultado

    Depois de criar todos os registros de replicação de mensagens e tópicos, as mensagens devem ser replicadas. Você pode verificar os campos Status e Mensagem de erro no registro de Replicação de mensagem para obter um status geral de como a replicação está funcionando.

    Você também pode verificar os campos Status e Mensagem de erro em cada registro de Replicação de tópico Kafka individual para o status de uma replicação de tópico específica.

    Cada registro de replicação de tópico do Kafka também tem uma lista relacionada chamada Estatísticas de replicação de mensagem. Depois que as replicações estiverem em execução, esta lista exibirá registros de métricas, que são criados a cada 60 segundos para cada replicação de tópico. Cada registro de métrica tem informações sobre a replicação do tópico, incluindo a Contagem de mensagens, que mostra o número de mensagens replicadas em cada intervalo de coleta.

    O que Fazer Depois

    Se você estiver replicando mensagens do seu Kafka local para ServiceNow, poderá configurar um consumidor de Script, ETLou Mapa de transformação para processar as mensagens ou configurar um gatilho de Mensagem do Kafka para iniciar um fluxo.

    Se você estiver replicando mensagens de ServiceNow para o Kafka local, poderá usar um Kafka Producer step em Workflow Studio ou usar a API ProducerV2 para publicar mensagens no tópico Hermes e no Kafka local.