Connexion au flux pour Apache Kafka Guide de démarrage rapide

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 3 minutes de lecture

    • Ce guide de démarrage rapide vous donne une vue d’ensemble de la façon de configurer et d’utiliser chacun des six producteurs et consommateurs de Stream Connect pour échanger des données entre votre ServiceNow instance et un environnement Kafka.

    Stream Connect dispose de deux producteurs qui envoient des données à partir d’un ServiceNow environnement Kafka.
    • Intervention du producteur Kafka Concepteur de flux
    • ProducerV2 API
    Stream Connect dispose également de quatre consommateurs qui récupèrent des données à partir d’un environnement Kafka.
    • Déclencheur de message Kafka dans Concepteur de flux
    • Extraire le consommateur de charge de transformation (ETL)
    • Consommateur de carte de transformation
    • Consommateur de script

    Pour lier votre ServiceNow instance à un environnement Kafka, Stream Connect utilise le Service de messagerie Hermes fichier . Le diagramme suivant montre chacun des producteurs et consommateurs et comment ils se connectent à votre environnement Kafka, affiché ici en tant que site client, via Hermès.

    Figure 1. Stream Connecter les producteurs et les consommateurs
    Diagramme montrant les producteurs et les consommateurs de Stream Connect et la façon dont ils se connectent à un environnement Kafka, décrit comme le « site client », via le Service de messagerie Hermes .

    Pour plus d’informations, reportez-vous à la section Utiliser Connexion au flux pour Apache Kafka et à la Hermes Messaging Servicesection .

    Mise en route

    Pour représenter le site du client, ce guide utilise Apache Kafka des outils en ligne de commande exécutés sur votre ordinateur. Les paramètres de configuration utilisés avec cet outil peuvent être utilisés pour configurer n’importe quelle connexion client à la passerelle ADCv2 (Application Delivery Controller, version 2) à l’aide du protocole Kafka.

    Toutes les commandes données sont testées avec la version OpenSSL (LibreSSL 2.8.3) et Apache Kafka la version de distribution binaire kafka_2.13-3.4.0.tgz. Toutefois, toutes les commandes doivent fonctionner avec n’importe quelle version de votre environnement local.

    Étapes de démarrage rapide

    Ce guide de démarrage rapide comporte cinq étapes. Les étapes 1 et 2 expliquent comment configurer et tester une connexion à Hermes. Les étapes 3 à 5 vous montrent comment configurer et utiliser chacun des producteurs et consommateurs de Stream Connect pour envoyer et recevoir des données.

    1. La passerelle ADCv2 utilise l’authentification mutuelle pour authentifier les demandes, de sorte que la première étape consiste à créer un magasin de clés et un magasin de confiance à utiliser avec votre client Kafka préféré. La page suivante vous montre comment créer les certificats requis : Set up a secure connection to the Hermes Messaging Service.
    2. Une fois que vous avez configuré une connexion sécurisée à Hermes, vérifiez que le magasin de clés et le magasin de confiance ont été correctement générés en testant la connexion à Hermes via la passerelle ADCv2.
    3. Maintenant, vous pouvez Utiliser le déclencheur de message Kafka et le consommateur de script pour utiliser des messages. La première partie de cette page vous montre comment utiliser le déclencheur de message Kafka pour Concepteur de flux récupérer les messages de Kafka. La deuxième partie vous montre comment utiliser le consommateur de script pour récupérer des messages.
    4. Et Utiliser les consommateurs ETL et Carte de transformation pour importer des données. Les définitions ETL et les cartes de transformation spécifient la logique de transformation à utiliser lors de l’extraction de données via des importations planifiées. Vous pouvez utiliser les mêmes définitions ETL et cartes de transformation pour transformer les événements reçus via Kafka.
      Remarque :
      Pour utiliser le consommateur ETL, vous avez besoin d’un transformateur de jeu d’importation robuste. De même, pour utiliser le consommateur de carte de transformation, vous avez besoin d’une carte de transformation.
    5. Enfin, vous pouvez Utiliser l’étape Kafka Producer et l’API ProducerV2 pour publier des messages. Cette page vous montre comment utiliser à la fois l’étape Kafka Producer et Concepteur de flux l’API ProducerV2 pour transmettre des messages à Kafka.