Configurer un consommateur ETL (Extract Transform Load)

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 1 minute de lecture

    • Importez et traitez les données de votre environnement Kafka à l’aide de vos configurations RTE (Robust Transform Engine) existantes.

    Avant de commencer

    • Rôle requis : integration_hub_admin
    • Ce consommateur fait partie de Connexion au flux pour Apache Kafka ce qui nécessite un Connexion au flux pour Apache Kafka abonnement. Pour plus d'informations, consultez https://www.servicenow.com/products/automation-engine.html.
    • Les modules d’extension suivants sont requis.
      • Le module d’extension ServiceNow IntegrationHub Kafka Consumer (com.glide.hub.kafka_consumer).
      • Le module d’extension ServiceNow IntegrationHub ETL Consumer - Kafka (com.glide.hub.etl_consumer.kafka).
    • Ce consommateur a besoin d’un transformateur de jeu d’importation robuste.

    Pourquoi et quand exécuter cette tâche

    Pour configurer un consommateur, vous devez créer deux enregistrements.
    1. L’enregistrement consommateur, qui spécifie la manière d’importer et de traiter les données.
    2. Un enregistrement pour le flux Kafka, qui définit le flux de données vers votre consommateur.
    Cette tâche couvre la création du consommateur. Pour obtenir des instructions sur la création d’un flux Kafka, consultez Créer un flux Kafka.

    Procédure

    1. Accédez à la Tout > Centre d'intégration > Consommateurs > Consommateur ETL.
    2. Sélectionnez Nouveau.
    3. Renseignez les champs du formulaire.
      Tableau 1. Consommateur ETL Kafka
      Champ Description
      Nom Nom du consommateur ETL.
      Transformateur de jeux d’importation robuste Nom du transformateur de jeu d’importation robuste à utiliser pour traiter les données.
      Garantie de livraison En cas de défaillance d’un nœud, option permettant de spécifier la garantie de remise des messages entrants. Sélectionnez l'une des options suivantes :
      • Pas de perte mais des doublons : garantit que tous les messages sont remis au moins une fois. Certains messages peuvent être remis plus d’une fois.
      • Une fois ou pas du tout : garantit qu’un message n’est pas remis plus d’une fois. Certains messages peuvent ne pas être livrés du tout.
      Données dans une colonne unique Option pour que la table de jeux d’importation stocke les données dans une seule colonne.
      Mappage de colonnes Option permettant de spécifier si la clé JSON du message mappe les données au nom ou à l’étiquette de la colonne dans la table de jeux d’importation. Sélectionnez l'une des options suivantes :
      • Étiquette
      • Nom de colonne
      Ce champ s’affiche uniquement lorsque la case Données dans une seule colonne est décochée.
      Application Périmètre de l’application pour le consommateur ETL.
    4. Sélectionnez Enregistrer.

    Que faire ensuite

    Créer un flux Kafka pour ce consommateur. Une fois le flux activé, vous pouvez commencer à recevoir des messages de votre environnement Kafka.