Créer des réplications de messages et de rubriques Kafka dans Stream Connect

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 5 minutes de lecture

    • Configurez des réplications de messages et de rubriques pour répliquer les données entre votre environnement et ServiceNow.Apache Kafka

    Avant de commencer

    • Rôle requis : message_replication_admin
    • Cette fonctionnalité nécessite un abonnement. Pour plus d'informations, consultez Utiliser Connexion au flux for Apache Kafka.
    • Vérifiez que les générateurs de certificats PKI de l’instance Service de messagerie Hermes fonctionnent.
    • Configurez et démarrez un Serveur MIDfichier . Pour plus d'informations, consultez Configuring MID Servers. Ils Serveur MID doivent pouvoir accéder aux Hermes points de terminaison via le pare-feu. Collaborez avec votre administrateur réseau pour vous assurer que les plages de ports suivantes sont ouvertes.
      • Producteur : 4000–4050
      • Consommateur1 : 4100 à 4150
      • Consommateur2 : 4200 à 4250
    • La réplication de messages de connexion au flux utilise un alias de connexion et d’informations d’identification pour se connecter à votre Kafka local. Create a Connection & Credential alias avec un type de connexionKafka. Un alias de connexion et d’informations d’identification nécessite une connexion Kafka et des informations d’identification Kafka SSL.
    • La réplication de messages de connexion au flux nécessite le module d’extension Programme d’installation de Connexion au ServiceNow flux [com.glide.hub.stream_connect.installer].

    Pourquoi et quand exécuter cette tâche

    Cette page vous montre comment créer un enregistrement de réplication de message et un enregistrement de réplication de rubrique Kafka associé.

    Un enregistrement de réplication de message représente un cluster Kafka unique. Par exemple, si vous avez deux clusters Kafka, vous devez créer deux enregistrements de réplication de message différents, un pour chaque cluster. Un enregistrement de réplication de message est l’enregistrement parent de toutes les rubriques répliquées vers ou à partir de cette grappe. Les enregistrements de réplication de messages sont stockés dans la table Réplications de messages [sys_sc_message_replication].

    Un enregistrement de réplication de rubrique Kafka spécifie la réplication à partir d’une rubrique source unique vers une rubrique de destination unique. Vous ne pouvez pas répliquer une rubrique source unique vers plusieurs destinations. Vous ne pouvez répliquer qu’une seule fois vers chaque destination. Les enregistrements de réplication de rubrique Kafka sont stockés dans la table Réplications de rubriques Kafka [sys_kafka_topic_replication].

    Procédure

    1. Accédez à la Tout > Centre d'intégration > Connexion au flux > Réplications de messages et sélectionnez Nouveau.
    2. Renseignez les champs du formulaire Réplication de message.
      Tableau 1. Formulaire Réplication de messages
      Champ Description
      Nom Nom de la réplication de messages.
      Connexion au service de messagerie Alias de connexion et d’informations d’identification spécifiant le service de messagerie auquel se connecter.
      Statut Dernier état connu de la réplication de messages. Ce champ est automatiquement défini.
      Message d'erreur Message d’erreur basé sur le dernier état connu de la réplication de messages. Ce champ est automatiquement défini.
      Application Périmètre de l’application pour la réplication de messages. Ce champ est automatiquement défini.
      Actif Option permettant d’activer la réplication de messages.
    3. Sélectionnez Enregistrer.
      Une fois le formulaire enregistré, l’onglet Réplications de rubriques Kafka s’affiche en bas de la page.
    4. Dans l’onglet Réplications de rubriques Kafka, sélectionnez Nouveau.
    5. Renseignez les champs du formulaire Réplication de rubrique Kafka.
      Tableau 2. Formulaire de réplication de rubrique Kafka
      Champ Description
      Nom

      Nom de la réplication de rubrique. Le nom est généré automatiquement en fonction des valeurs des autres champs.

      Pour générer le nom, entrez les valeurs des champs Direction, Rubrique ServiceNow et Nom de la rubrique , puis sélectionnez Enregistrer.

      Lorsque la direction est vers ServiceNow, le nom a le format suivant : nom de la rubrique [nom de la réplication] > nom de ServiceNow la rubrique [SN].

      Lorsque la direction provient de ServiceNow, le nom se présente au format suivant : ServiceNow nom de la rubrique [SN] > nom de la rubrique [nom de la réplication].
      Direction Sens de la réplication de la rubrique.
      • Vers ServiceNow réplique une rubrique de votre environnement Kafka local vers ServiceNow.
      • À partir de ServiceNow réplique une rubrique depuis ServiceNow vers votre environnement Kafka local.
      ServiceNow sujet Référence à la table Rubriques Kafka [sys_kafka_topic].
      Réplication Réplication de message qui gère cette réplication de rubrique.
      Nom de la rubrique Nom de la rubrique dans votre environnement Kafka local.
      Actif Option permettant d’activer la réplication de rubrique.
      Statut Dernier état connu de la réplication de rubrique. Ce champ est automatiquement défini.
      Message d'erreur Message d’erreur basé sur le dernier état connu de la réplication de rubriques. Ce champ est automatiquement défini.
      Suivre dans l'ensemble de mises à jour actuel Lorsque cette option est sélectionnée, la réplication de rubrique est ajoutée à l’ensemble de mises à jour actuel, de sorte qu’il est plus simple de la promouvoir de sous-production vers des instances de production. Vous devrez peut-être configurer le formulaire pour ajouter ce champ.
    6. Sélectionnez Soumettre.
    7. Suivez les étapes 1 à 6 pour créer des réplications de messages et de rubriques pour toutes vos grappes et rubriques Kafka.

    Résultats

    Une fois que vous avez créé tous vos enregistrements de réplication de message et de rubrique, les messages doivent être répliqués. Vous pouvez consulter les champs de message d’état et d’erreur dans l’enregistrement de réplication de messages pour obtenir un état général du fonctionnement de la réplication.

    Vous pouvez également vérifier les champs demessage d’état et de message d’erreur de chaque enregistrement de réplication de rubrique Kafka pour connaître l’état d’une réplication de rubrique spécifique.

    Chaque enregistrement de réplication de rubrique Kafka dispose également d’une liste connexe nommée Statistiques de réplication de message. Une fois les réplications en cours d’exécution, cette liste affiche les enregistrements de mesures, qui sont créés toutes les 60 secondes pour chaque réplication de rubrique. Chaque enregistrement de mesures contient des informations sur la réplication de rubrique, notamment le nombre de messages, qui indique le nombre de messages répliqués dans chaque intervalle de collecte.

    Que faire ensuite

    Si vous répliquez des messages de votre Kafka local vers ServiceNow, vous pouvez configurer un consommateur de script, ETL ou de carte de transformation pour traiter les messages ou configurer un déclencheur de message Kafka pour démarrer un flux.

    Si vous répliquez des messages vers ServiceNow votre Kafka local, vous pouvez utiliser un Kafka Producer step in Studio de workflow ou utiliser l’API ProducerV2 pour publier des messages sur la rubrique et votre Hermes Kafka local.