Créer des réplications de messages et de rubriques Kafka dans Stream Connect

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 5 minutes de lecture

    • Configurez des réplications de messages et de rubriques pour répliquer les données entre votre environnement et ServiceNow.Apache Kafka

    Avant de commencer

    • Rôle requis : message_replication_admin
    • Cette fonctionnalité fait partie d’un Connexion au flux pour Apache Kafka abonnement et le requiert. Pour plus d'informations, consultez Utiliser Connexion au flux pour Apache Kafka.
    • Vérifiez que le Service de messagerie Hermes générateur de certificats PKI de l’instance fonctionne.
    • Configurez et démarrez un Serveur MIDfichier . Pour plus d'informations, consultez Configuring MID Servers. Ils Serveur MID doivent pouvoir accéder aux Hermes points de terminaison via le pare-feu. Contactez votre administrateur réseau pour vous assurer que les plages de ports suivantes sont ouvertes.
      • Producteur : 4000–4050
      • Consommateur 1 : 4100 à 4150
      • Consommateur 2 : 4 200 à 4 250
    • Stream Connect Message Replication utilise un alias de connexion et d’informations d’identification pour se connecter à votre Kafka local. Create a Connection & Credential alias avec un type de connexionKafka. Un alias de connexion et d’informations d’identification nécessite une connexion Kafka et des informations d’identification Kafka SSL.
    • La réplication de messages Stream Connect nécessite le module d’extension Réplication de connexion de ServiceNow flux - Kafka [com.glide.hub.stream_connect.replication.kafka].

    Pourquoi et quand exécuter cette tâche

    Cette page vous montre comment créer un enregistrement de réplication de message et un enregistrement de réplication de rubrique Kafka associé.

    Un enregistrement de réplication de message représente une seule grappe Kafka. Par exemple, si vous avez deux clusters Kafka, vous devez créer deux enregistrements de réplication de messages différents, un pour chaque cluster. Un enregistrement de réplication de message est l’enregistrement parent de toutes les rubriques répliquées vers ou à partir de cette grappe. Les enregistrements de réplication de messages sont stockés dans la table Réplications de messages [sys_sc_message_replication].

    Un enregistrement de réplication de rubrique Kafka spécifie la réplication à partir d’une rubrique source unique vers une rubrique de destination unique. Vous ne pouvez pas répliquer une seule rubrique source vers plusieurs destinations. Vous ne pouvez répliquer qu’une seule fois vers chaque destination. Les enregistrements de réplication de rubrique Kafka sont stockés dans la table Réplications de rubriques Kafka [sys_kafka_topic_replication].

    Procédure

    1. Accédez à la Tout > Centre d'intégration > Connexion au flux > Réplications de messages et sélectionnez Nouveau.
    2. Renseignez les champs du formulaire Réplication de message.
      Tableau 1. Formulaire Réplication de messages
      Champ Description
      Nom Nom de la réplication de message.
      Connexion au service de messagerie Alias de connexion et d’informations d’identification spécifiant le service de messagerie auquel se connecter.
      Statut Dernier état connu de la réplication de message. Ce champ est automatiquement défini.
      Message d'erreur Message d’erreur basé sur le dernier état connu de la réplication de message. Ce champ est automatiquement défini.
      Application Périmètre de l’application pour la réplication de message. Ce champ est automatiquement défini.
      Actif Option permettant d’activer la réplication de message.
    3. Sélectionnez Enregistrer.
      Une fois le formulaire enregistré, l’onglet Réplications de rubriques Kafka s’affiche en bas de la page.
    4. Dans l’onglet Réplications de rubrique Kafka, sélectionnez Nouveau.
    5. Renseignez les champs du formulaire Réplication de rubrique Kafka.
      Tableau 2. Formulaire Réplication de rubrique Kafka
      Champ Description
      Nom

      Nom de la réplication de rubrique. Le nom est généré automatiquement en fonction des valeurs des autres champs.

      Pour générer le nom, saisissez les valeurs des champs Direction, Rubrique ServiceNow et Nom de la rubrique , puis sélectionnez Enregistrer.

      Lorsque la direction est vers ServiceNow, le nom a le format suivant : nom de la rubrique [nom de la réplication] > nom de ServiceNow la rubrique [SN].

      Lorsque la direction provient de ServiceNow, le nom a le format suivant : ServiceNow nom de rubrique [SN] -> nom de rubrique [nom de réplication].
      Direction Direction de la réplication de la rubrique.
      • To ServiceNow réplique une rubrique de votre environnement Kafka local vers ServiceNow.
      • From ServiceNow réplique une rubrique de ServiceNow vers votre environnement Kafka local.
      ServiceNow Sujet Référence à la table Rubriques Kafka [sys_kafka_topic].
      Réplication Réplication de message qui gère cette réplication de rubrique.
      Nom de la rubrique Nom de la rubrique dans votre environnement Kafka local.
      Actif Option permettant d’activer la réplication de rubrique.
      Statut Dernier état connu de la réplication de rubrique. Ce champ est automatiquement défini.
      Message d'erreur Message d’erreur basé sur le dernier état connu de la réplication de rubrique. Ce champ est automatiquement défini.
      Suivre dans l’ensemble de mises à jour actuel Lorsque cette option est sélectionnée, la réplication de rubrique est ajoutée à l’ensemble de mises à jour actuel, de sorte qu’il est plus simple de le promouvoir de sous-production à des instances de production. Vous devrez peut-être configurer le formulaire pour ajouter ce champ.
    6. Sélectionnez Soumettre.
    7. Suivez les étapes 1 à 6 pour créer des réplications de messages et de rubriques pour tous vos clusters et rubriques Kafka.

    Résultats

    Une fois que vous avez créé tous vos enregistrements de réplication de messages et de rubriques, les messages doivent être répliqués. Vous pouvez consulter les champs État et Message d’erreur de l’enregistrement Message Replication pour obtenir un état général du fonctionnement de la réplication.

    Vous pouvez également vérifier les champs État et Message d’erreur de chaque enregistrement individuel de réplication de rubriques Kafka pour connaître l’état d’une réplication de rubriques spécifique.

    Chaque enregistrement de réplication de rubrique Kafka possède également une liste connexe nommée Statistiques de réplication de message. Une fois les réplications en cours d’exécution, cette liste affiche les enregistrements de mesures, qui sont créés toutes les 60 secondes pour chaque réplication de rubrique. Chaque enregistrement de mesures contient des informations sur la réplication de rubrique, y compris le nombre de messages, qui indique le nombre de messages répliqués dans chaque intervalle de collecte.

    Que faire ensuite

    Si vous répliquez des messages de votre Kafka local vers ServiceNow, vous pouvez configurer un Script, ETL ou un consommateur de carte de transformation pour traiter les messages ou configurer un déclencheur de message Kafka pour démarrer un flux.

    Si vous répliquez des messages vers ServiceNow votre Kafka local, vous pouvez utiliser une Kafka Producer step entrée Concepteur de flux ou l’API ProducerV2 pour publier des messages dans la rubrique et dans Hermes votre Kafka local.