Connexion au flux Guide de démarrage rapide
Ce guide de démarrage rapide vous donne une vue d’ensemble de la configuration et de l’utilisation de chacun des six producteurs et consommateurs de Stream Connect pour échanger des données entre votre ServiceNow instance et un environnement Kafka.
- Étape du producteur Kafka Studio de workflow
- ProducerV2 API
- Déclencheur de message Kafka dans Studio de workflow
- Consommateur d’extraction de chargement de transformation (ETL)
- Consommateur de carte de transformation
- Consommateur de script
Pour lier votre ServiceNow instance à un environnement Kafka, Connexion au flux utilise le fichier Service de messagerie Hermes. Le diagramme suivant montre chacun des producteurs et consommateurs et comment ils se connectent à votre environnement Kafka, présenté ici comme le site client, via Hermes.
Pour plus d’informations, reportez-vous à la Hermes Messaging Service section Utiliser Connexion au flux for Apache Kafka .
Mise en route
Pour représenter le site du client, ce guide utilise des Apache Kafka outils en ligne de commande exécutés sur votre ordinateur. Les paramètres de configuration utilisés avec cet outil peuvent être utilisés pour configurer n’importe quelle connexion client à la passerelle ADCv2 (Application Delivery Controller, version 2) à l’aide du protocole Kafka.
Toutes les commandes données sont testées avec la version OpenSSL (LibreSSL 2.8.3) et Apache Kafka la version de distribution binaire kafka_2.13-3.4.0.tgz. Toutefois, toutes les commandes doivent fonctionner avec n’importe quelle version que vous avez dans votre environnement local.
Étapes de démarrage rapide
Ce guide de démarrage rapide comporte cinq étapes. Les étapes 1 et 2 expliquent comment configurer et tester une connexion à Hermes. Les étapes 3 à 5 vous montrent comment configurer et utiliser chacun des producteurs et consommateurs de Connexion au flux pour envoyer et recevoir des données.
- La passerelle ADCv2 utilise l’authentification réciproque pour authentifier les demandes, la première étape consiste donc à créer un magasin de clés et un magasin de confiance à utiliser avec votre client Kafka préféré. La page suivante vous montre comment créer les certificats requis : Établissez une connexion sécurisée au Service de messagerie Hermes.
- Après avoir configuré une connexion sécurisée à Hermes, vérifiez que le magasin de clés et le magasin de clés de confiance ont été correctement générés en testant la connexion à Hermes via la passerelle ADCv2.
- Maintenant, vous pouvez Utiliser le déclencheur de message Kafka et le consommateur de script pour utiliser des messages. La première partie de cette page vous montre comment utiliser le déclencheur de message Kafka pour Studio de workflow récupérer des messages de Kafka. La deuxième partie vous montre comment utiliser le consommateur de script pour récupérer des messages.
- Et Utiliser les consommateurs ETL et Carte de transformation pour importer des données. Les définitions ETL et les cartes de transformation spécifient la logique de transformation à utiliser lors de l’extraction des données via les importations planifiées. Vous pouvez utiliser les mêmes définitions ETL et cartes de transformation pour transformer les événements reçus via Kafka.Remarque :Pour utiliser le consommateur ETL, vous avez besoin d’un transformateur d’ensemble de données à importer robuste. De même, pour utiliser le consommateur de carte de transformation, vous avez besoin d’une carte de transformation.
- Enfin, vous pouvez Utilisez l’étape Kafka Producer et l’API ProducerV2 pour publier des messages. Cette page vous montre comment utiliser à la fois l’étape Studio de workflow Kafka Producer et l’API ProducerV2 pour transmettre des messages à Kafka.
Établissez une connexion sécurisée au Service de messagerie Hermes
Sécurisez vos rubriques Kafka en générant un certificat signé par une ServiceNow® instance.
Avant de commencer
La configuration nécessite une Service de messagerie Hermes coordination avec votre administrateur réseau et avec votre administrateur Kafka. Collaborez avec votre administrateur réseau pour obtenir les certificats de sécurité requis et ouvrir les ports requis. Travaillez avec votre administrateur Kafka pour vous assurer que votre environnement Kafka est correctement configuré et que vos applications peuvent s’y connecter à l’aide du Service de messagerie Hermes protocole Kafka standard.
Assurez-vous que la configuration suivante est en place :
- Le Service de messagerie Hermes est activé. Consultez Activating the Hermes Messaging Service.
- Le module d’extension Cadre de travail de gestion des clés (com.glide.kmf.global) est activé.
- La table Certificats [sys_kmf_certificate] contient un certificat d’autorité ServiceNow de certification racine de l’instance.
- L’instance n’est pas configurée avec une URL personnalisée. Les URL personnalisées ne sont pas prises en charge avec le générateur de certificats PKI d’instance.
Rôle requis : hermes_admin, sn_kmf.cryptographic_manager ou admin
Pour plus de détails sur l’attribution des rôles KMF, reportez-vous à la section Roles installed with Key Management Framework.
Procédure
Résultats
Vous pouvez maintenant créer une connexion sécurisée au Service de messagerie Hermes.
Testez la connexion à Hermes via la passerelle ADCv2
Vérifiez que le magasin de clés et le magasin de clés de confiance ont été correctement générés en testant la connexion à Hermes via la passerelle ADCv2.
Avant de commencer
- Rôle requis : integration_hub_admin
Procédure
Utiliser le déclencheur de message Kafka et le consommateur de script pour utiliser des messages
Récupérez les messages d’Hermes avec le déclencheur de message Kafka et Studio de workflow le consommateur de script.
Avant de commencer
- Rôle requis : integration_hub_admin
- La première partie de cette section vous montre comment utiliser le déclencheur de message Kafka pour Studio de workflow consommer des messages. Pour plus d’informations sur le déclencheur, reportez-vous à la section Create a flow with a Kafka Message trigger.
- La deuxième partie de cette section vous montre comment utiliser le consommateur de script pour utiliser les messages. Pour plus d'informations, consultez Configurer un consommateur de script.
Procédure
-
Créez une rubrique pour utiliser les messages.
-
Créez un déclencheur de flux pour utiliser les messages de la rubrique.
-
Publiez des messages dans la rubrique à l’aide de l’outil en ligne de commande Kafka.
-
Créez un consommateur de script pour utiliser les messages de la rubrique.
Utiliser les consommateurs ETL et Carte de transformation pour importer des données
Utilisez des définitions ETL et des cartes de transformation pour traiter les événements Kafka. Les définitions ETL et les cartes de transformation spécifient la logique de transformation à utiliser lors de l’extraction des données via les importations planifiées. Vous pouvez utiliser les mêmes définitions ETL et cartes de transformation pour transformer les événements reçus via Kafka.
Avant de commencer
- Rôle requis : integration_hub_admin
- La première partie de cette section vous montre comment utiliser le consommateur ETL pour consommer des messages. Pour utiliser le consommateur ETL, vous avez besoin d’un transformateur d’ensemble de données à importer robuste.
- La deuxième partie de cette section vous montre comment utiliser un consommateur de carte de transformation pour consommer des messages. Pour utiliser Consommateur de carte de transformation, vous avez besoin d’une carte de transformation.
Procédure
-
Créez une rubrique pour utiliser ETL et transformer les messages de consommateur de la carte.
-
Créez un consommateur ETL pour utiliser les données de la rubrique.
-
Publier des messages sur la rubrique 2.
-
Créez un consommateur de carte de transformation pour consommer des données.
-
Publier des messages sur la rubrique 2.
Utilisez l’étape Kafka Producer et l’API ProducerV2 pour publier des messages
Transmettre les données par ServiceNow push vers Hermes afin que les consommateurs Kafka puissent les lire.
Avant de commencer
- Rôle requis : integration_hub_admin
- La première partie de cette section vous montre comment utiliser l’étape Créateur Kafka pour Studio de workflow publier des messages sur Hermès. Pour en savoir plus sur cette étape, reportez-vous à la section Kafka Producer step.
- La deuxième partie de cette section vous montre comment utiliser l’API ProducerV2 pour publier des messages. Pour plus d’informations, consultez API ProducerV2.
- Pour recevoir tous les messages, vous devez exécuter deux consommateurs pour des centres de données différents. Consultez Consume test messages from a Hermes topic using the Kafka client pour en savoir plus.
Procédure
-
Démarrez deux consommateurs pour recevoir des messages.
-
Publiez des messages à partir de l’instance à l’aide d’une étape de flux.
-
Publier des messages à partir de l’instance à l’aide d’un script.