Stream Connect para Apache Kafka guia de início rápido
Este guia de início rápido fornece uma visão geral de como configurar e usar cada um dos seis produtores e consumidores do Stream Connect para trocar dados entre sua instância ServiceNow e um ambiente Kafka.
- Etapa Produtor do Kafka em Flow Designer
- API ProducerV2
- Gatilho de mensagem do Kafka em Flow Designer
- Extrair consumidor de carga de transformação (ETL)
- Transformar consumidor de mapa
- Consumidor de script
Para vincular sua instância ServiceNow a um ambiente Kafka, o Stream Connect usa o Serviço de envio de mensagens Hermes. O diagrama a seguir mostra cada um dos produtores e consumidores e como eles se conectam ao seu ambiente Kafka, mostrado aqui como o local do cliente, por meio do Hermes.
Para obter mais informações, consulte Como usar Stream Connect para Apache Kafka. e o Hermes Messaging Service.
Introdução
Para representar o site do cliente, este guia usa ferramentas de linha de comando Apache Kafka executadas no seu computador. Os parâmetros de configuração usados com esta ferramenta podem ser usados para configurar qualquer conexão de cliente com o gateway do ADCv2 (Application Delivery Controller, versão 2) usando o protocolo Kafka.
Todos os comandos fornecidos são testados com a versão OpenSSL (LibreSSL 2.8.3) e Apache Kafka versão de distribuição binária kafka_2.13-3.4.0.tgz. No entanto, todos os comandos devem funcionar com qualquer versão que você tenha em seu ambiente local.
Etapas de início rápido
Este guia de início rápido tem cinco etapas. As etapas 1 e 2 cobrem como configurar e testar uma conexão com a Hermes. As etapas 3 a 5 mostram como configurar e usar cada um dos produtores e consumidores do Stream Connect para enviar e receber dados.
- O gateway ADCv2 usa autenticação mútua para autenticar solicitações. Portanto, a primeira etapa é criar um repositório de chaves e um repositório de confiança para usar com seu cliente Kafka favorito. A página a seguir mostra como criar os certificados necessários: Set up a secure connection to the Hermes Messaging Service.
- Depois de configurar uma conexão segura com a Hermes, verifique se o armazenamento de chaves e o armazenamento confiável foram gerados corretamente. Testando a conexão com a Hermes por meio do gateway ADCv2.
- Agora você pode Use o gatilho de mensagem do Kafka e o consumidor de script para consumir mensagens. A primeira parte desta página mostra como usar o gatilho de mensagem do Kafka em Flow Designer para recuperar mensagens do Kafka. A segunda parte mostra como usar o consumidor de script para recuperar mensagens.
- E Use os consumidores de ETL e mapa de transformação para importar dados. As definições de ETL e os mapas de transformação especificam a lógica de transformação a ser usada ao extrair dados por meio de importações programadas. Você pode usar as mesmas definições de ETL e mapas de transformação para transformar os eventos recebidos por meio do Kafka.Nota:Para usar o consumidor de ETL, você precisa de um transformador de conjunto de importação robusto. Da mesma forma, para usar o consumidor do mapa de transformação, você precisa de um mapa de transformação.
- Por fim, você pode Use a etapa Produtor do Kafka e a API ProdutorV2 para publicar mensagens. Esta página mostra como usar a etapa Produtor do Kafka em Flow Designer e a API ProdutorV2 para enviar mensagens por push para o Kafka.