Configurer un consommateur ETL (Extract Transform Load)

  • Rversion finale: Yokohama
  • Mis à jour 30 janv. 2025
  • 2 minutes de lecture

    • Importez et traitez les données de votre environnement Kafka à l’aide de vos configurations RTE (Robust Transform Engine) existantes.

    Avant de commencer

    Pourquoi et quand exécuter cette tâche

    Pour configurer un consommateur, vous devez créer deux enregistrements.
    1. Enregistrement consommateur, qui spécifie la manière d’importer et de traiter les données.
    2. Un enregistrement pour le flux Kafka, qui définit le flux de données vers votre consommateur.
    Cette tâche couvre la création du consommateur. Pour obtenir des instructions sur la création d’un flux Kafka, reportez-vous à la section Créer un flux Kafka.

    Procédure

    1. Accédez à la Tout > Centre d'intégration > Consommateurs > Consommateur ETL.
    2. Sélectionnez Nouveau.
    3. Renseignez les champs du formulaire.
      Tableau 1. Consommateur ETL Kafka
      Champ Description
      Nom Nom du consommateur ETL.
      Transformateur d'ensemble d'importation robuste Nom du transformateur d’ensemble d’importation robuste à utiliser pour traiter les données.
      Garantie de livraison En cas de défaillance de nœud, option permettant de spécifier la garantie de livraison des messages entrants. Sélectionnez l'une des options suivantes :
      • Pas de pertes, mais des doublons : tous les messages sont remis au moins une fois. Certains messages peuvent être remis plusieurs fois.
      • Une fois ou pas du tout : un message n’est pas remis plus d’une fois. Certains messages peuvent ne pas être remis du tout.
      Format de sérialisation Le format de sérialisation du message. Sélectionnez l'une des options suivantes :
      • Texte brut : sélectionnez cette option pour tous les messages en texte brut. Il s’agit du format par défaut.
      • Codé : sélectionnez cette option pour les messages au Apache format Avro. La conversion de messages en texte brut au format Avro nécessite un schéma. Sélectionnez le registre de schémas dans le champ Registre de schémas . Pour plus d’informations sur les schémas, reportez-vous à la section Gestion des schémas dans Stream Connect.
      Données dans une colonne unique Option permettant à la table de jeux d’importation de stocker les données dans une seule colonne.
      Mappage de colonnes Option permettant de spécifier si la clé JSON du message mappe les données au nom ou à l’étiquette de la colonne dans la table de jeu d’importation. Sélectionnez l'une des options suivantes :
      • Étiquette
      • Nom de colonne
      Ce champ s’affiche uniquement lorsque la case Données dans une seule colonne est décochée.
      Demande Périmètre de l’application pour le consommateur ETL.
      Registre de schémas
      Registre pour le schéma sélectionné. Sélectionnez l'une des options suivantes :
      • Registre de schémas autonome
      • Registre de schémas Confluent

      Ce champ s’affiche uniquement lorsque le format de sérialisation est défini sur Codé.

      Pour le registre de schémas Confluent, si l’ID de schéma du message reçu ne se trouve pas dans la table de schémas, le système importe le schéma de manière dynamique, à l’aide de la connexion REST configurée.
    4. Sélectionnez Enregistrer.

    Que faire ensuite

    Créer un flux Kafka pour ce consommateur. Une fois le flux activé, vous pouvez commencer à recevoir des messages de votre environnement Kafka.