Verwenden Sie ETL- und Transformationszuordnungs-Verbraucher, um Daten zu importieren

Freigeben Version: Washingtondc

Aktualisiert 1. Februar 2024

4 Minuten Lesedauer

Verwenden Sie ETL-Definitionen und Transformationszuordnungen, um Kafka-Events zu verarbeiten. ETL-Definitionen und Transformationszuordnungen geben die Transformationslogik an, die beim Abrufen von Daten über geplante Importe verwendet werden soll. Sie können dieselben ETL-Definitionen und Transformationszuordnungen verwenden, um die über Kafka empfangenen Events zu transformieren.

Vorbereitungen

Erforderliche Rolle: integration_hub_admin
Diese Seite ist Teil von Stream Connect für Apache Kafka Schnellstarthandbuch.
Dieses Dokument zeigt, wie Sie Nachrichten über Ihre Verbindung zu Hermes verarbeiten können. Informationen zum Einrichten und Testen Ihrer Verbindung finden Sie unter Set up a secure connection to the Hermes Messaging Service und Verbindung zu Hermes über das ADCv2-Gateway testen.
Im ersten Teil dieser Seite erfahren Sie, wie Sie den ETL-Verbraucher zum Verarbeiten von Nachrichten verwenden. Um den ETL-Verbraucher zu verwenden, benötigen Sie einen robusten Import Set-Umwandler.
Im zweiten Teil dieser Seite erfahren Sie, wie Sie einen Transformationszuordnungsverbraucher zum Verarbeiten von Nachrichten verwenden. Um den Transformationszuordnungsverbraucher zu verwenden, benötigen Sie eine Transformationszuordnung.

Prozedur

Erstellen Sie ein Thema, um Nachrichten von ETL- und Transformationszuordnungsverbrauchern zu verarbeiten.
1. Verwenden Sie den folgenden Befehl, um ein Thema in Hermes zu erstellen.
  In diesem Beispiel lautet der Themenname topic2.
```
bin/kafka-topics.sh --create --command-config config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002, <instance name>.service-now.com:4003 --topic snc.<instance name>.topic2
```
  Ersetzen Sie<instance name> mit dem Namen Ihrer Instanz.
2. Um das Thema anzuzeigen, melden Sie sich bei der Instanz an, und navigieren Sie zu Alle > IntegrationHub > Stream Connect > Themen.
  
  Hinweis:
  Das Erstellen eines Themas dauert ungefähr 10 Minuten.
Erstellen Sie einen ETL-Verbraucher, um Daten aus dem Thema zu verwenden.
1. Navigieren zu Alle > IntegrationHub > Verbraucher > ETL-Verbraucher.
2. Wählen Sie Neu.
3. Geben Sie im Formular „Kafka-Verbraucher“ einen Namen in das Feld Name ein.
  In diesem Beispiel wird der Name „Mitgliedsimport“ verwendet.
4. Wählen Sie für das Feld „ Robuster Umwandler für Import Set “ einen vorhandenen robusten Umwandler für Import Set aus.
  Wählen Sie für den robusten Import Set-Umwandler einen aus, der nicht die Option zum Speichern von Daten in einer einzelnen Spalte verwendet. Um die Nachrichten anzeigen zu können, stellen Sie sicher, dass für den robusten Import Set-Umwandler die Option Ausführlich aktiviert ist.
5. Deaktivieren Sie die Option Daten in einzelner Spalte.
  Diese Option sollte nur für Import Set-Tabellen mit Daten in einer einzigen Spalte ausgewählt werden.
6. Legen Sie die Spaltenzuordnung auf Bezeichnung fest.
  
  Dies bedeutet, dass die JSON-Schlüssel der Eingabenachricht den Spaltenbezeichnungen der Import Set-Tabelle zugeordnet werden.
7. Speichern Sie das Formular.
8. Erstellen Sie einen Kafka-Stream für den Verbraucher.
9. Legen Sie im Formular „Kafka-Stream“ die folgenden Feldwerte fest.
  - Name für Stream „Thema2“.
  - Thema zu dem zuvor erstellten Thema topic2.
  - Max. Gleichzeitigkeit bis 1.
  - Beginn der Nutzung von bis zu Nachrichten, die nach der ersten Aktivierung empfangen wurden.
  - Nachrichtenverarbeitung zur automatischen Optimierung.
10. Klicken Sie unter Zugehörige Links auf den Link Aktivieren.
  
  Sie sollten das aktivierte Abonnement sehen können.
Veröffentlichen Sie Nachrichten in topic2.
1. Führen Sie den folgenden Befehl aus, um Nachrichten in topic2 zu veröffentlichen.
```
bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003
```
  Ersetzen Sie<instance name> mit dem Namen Ihrer Instanz.
  
  Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.
2. Senden Sie die folgende JSON-Nachricht.
```
{"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}
```
  Sie können diese Nachricht mit beliebigen Werten senden, aber der JSON-Nachrichtenschlüssel muss mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
3. Navigieren Sie zurück zu dem von Ihnen erstellten ETL-Verbraucher.
  
  Nach etwa einer Minute sollten die Daten über den Importsatz importiert worden sein.
4. Um detaillierte Informationen zum Import Set anzuzeigen, wählen Sie die Import Set-Nummer aus.
5. Um detaillierte Informationen zu einer Import Set-Zeile anzuzeigen, wählen Sie die Zeilennummer des Import Set aus.
Erstellen Sie einen Transformationszuordnungsverbraucher, um Daten zu verarbeiten.
1. Navigieren zu Alle > IntegrationHub > Verbraucher > Transformationszuordnungsverbraucher.
2. Wählen Sie Neu.
3. Geben Sie im Formular „Kafka-Transformationszuordnungsverbraucher“ einen Namen in das Feld Name ein.
4. Wählen Sie für das Feld Transformationszuordnung eine vorhandene Transformationszuordnung aus.
5. Speichern Sie das Formular.
6. Erstellen Sie einen Kafka-Stream für den Verbraucher.
7. Legen Sie im Formular „Kafka-Stream“ die folgenden Feldwerte fest.
  - Name zum Umwandeln des Zuordnungs-Streams.
  - Thema zu dem zuvor erstellten Thema topic2.
  - Max. Gleichzeitigkeit bis 1.
  - Beginn der Nutzung von bis zu Nachrichten, die nach der ersten Aktivierung empfangen wurden.
  - Nachrichtenverarbeitung zur automatischen Optimierung.
8. Klicken Sie unter Zugehörige Links auf den Link Aktivieren.
  
  Sie sollten das aktivierte Abonnement sehen können.
Veröffentlichen Sie Nachrichten in topic2.
1. Führen Sie den folgenden Befehl aus, um Nachrichten in topic2 zu veröffentlichen.
```
bin/kafka-console-producer.sh --topic snc.<instance name>.topic2  --producer.config  config/bootcamp.properties  --bootstrap-server <instance name>.service-now.com:4000,<instance name>.service-now.com:4001,<instance name>.service-now.com:4002,<instance name>.service-now.com:4003
```
  Ersetzen Sie<instance name> mit dem Namen Ihrer Instanz.
  
  Dieser Befehl fordert Sie zur Eingabe von Nachrichten auf.
2. Senden Sie die folgende JSON-Nachricht.
```
{"city":"San Diego","name":"Jhon","id":"SN001","state":"California"}
```
  Sie können diese Nachricht mit beliebigen Werten senden, aber der JSON-Nachrichtenschlüssel muss mit den Tabellenbezeichnungen des Importsatzes übereinstimmen.
3. Wechseln Sie zu dem von Ihnen erstellten Transformationszuordnungsverbraucher.
  Nach etwa einer Minute sollten die Daten über den Importsatz importiert worden sein.
4. Um detaillierte Informationen zum Import Set anzuzeigen, wählen Sie die Import Set-Nummer wie in Schritt 3d oben beschrieben aus.

Nächste Maßnahme

Verwenden Sie den Kafka-Erstellerschritt und die ProducerV2-API, um Nachrichten zu veröffentlichen.