Stream Connect für Apache Kafka Schnellstarthandbuch

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 2 Minuten Lesedauer

    • Diese Schnellstartanleitung gibt Ihnen einen Überblick darüber, wie Sie die sechs Stream Connect-Ersteller und -Verbraucher einrichten und verwenden, um Daten zwischen Ihrer ServiceNow -Instanz und einer Kafka-Umgebung auszutauschen.

    Stream Connect verfügt über zwei Produzenten, die Daten aus ServiceNow an eine Kafka-Umgebung senden.
    • Kafka-Ersteller-Schritt in Flow Designer
    • ProducerV2-API
    Stream Connect verfügt auch über vier Verbraucher, die Daten aus einer Kafka-Umgebung abrufen.
    • Kafka-Nachrichtenauslöser in Flow Designer
    • ETL-Verbraucher (Extract Transform Load).
    • Verbraucher der Transformationszuordnung
    • Skriptverbraucher

    Um Ihre Instanz ServiceNow mit einer Kafka-Umgebung zu verknüpfen, verwendet Stream Connect Hermes Messaging-Service. Das folgende Diagramm zeigt die einzelnen Produzenten und Verbraucher und wie sie sich über Hermes mit Ihrer Kafka-Umgebung verbinden, die hier als Kunden-Siteangezeigt wird.

    Abbildung : 1. Stream Connect-Ersteller und -Verbraucher
    Diagramm, das Stream Connect-Ersteller und -Verbraucher zeigt und zeigt, wie sie über Hermes Messaging-Serviceeine Verbindung zu einer Kafka-Umgebung herstellen, die als „Kunden-Site“ bezeichnet wird.

    Weitere Informationen finden Sie unter Arbeiten mit Stream Connect für Apache Kafka und im Hermes Messaging Service.

    Erste Schritte

    Zur Darstellung der Kunden-Site werden in diesem Leitfaden Apache Kafka -Befehlszeilentools verwendet, die auf Ihrem Computer ausgeführt werden. Die mit diesem Tool verwendeten Konfigurationsparameter können zum Konfigurieren einer beliebigen Clientverbindung mit dem ADCv2-Gateway (Application Delivery Controller, Version 2) mithilfe des Kafka-Protokolls verwendet werden.

    Alle angegebenen Befehle wurden mit der OpenSSL-Version (LibreSSL 2.8.3) und der binären Verteilungsversion kafka_2.13-3.4.0.tgz von Apache Kafka getestet. Alle Befehle sollten jedoch mit jeder Version funktionieren, die Sie in Ihrer lokalen Umgebung haben.

    Schnellstartschritte

    Diese Schnellstartanleitung besteht aus fünf Schritten. Die Schritte 1 und 2 beschreiben das Einrichten und Testen einer Verbindung zu Hermes. Die Schritte 3 bis 5 zeigen Ihnen, wie Sie jeden der Stream Connect-Ersteller und -Verbraucher zum Senden und Empfangen von Daten konfigurieren und verwenden.

    1. Das ADCv2-Gateway verwendet die gegenseitige Authentifizierung, um Anforderungen zu authentifizieren. Der erste Schritt besteht darin, einen Schlüsselspeicher und einen Truststore zu erstellen, die mit Ihrem bevorzugten Kafka-Client verwendet werden sollen. Auf der folgenden Seite wird gezeigt, wie Sie die erforderlichen Zertifikate erstellen: Set up a secure connection to the Hermes Messaging Service.
    2. Nachdem Sie eine sichere Verbindung zu Hermes hergestellt haben, überprüfen Sie, ob der Schlüsselspeicher und der Truststore korrekt generiert wurden, indem Sie die Verbindung zu Hermes über das ADCv2-Gateway testen.
    3. Jetzt können Sie Verwenden Sie den Kafka-Nachrichtenauslöser und den Skriptverbraucher, um Nachrichten zu verarbeiten. Im ersten Teil dieser Seite erfahren Sie, wie Sie den Kafka-Nachrichtenauslöser in Flow Designer verwenden, um Nachrichten aus Kafka abzurufen. Im zweiten Teil erfahren Sie, wie Sie den Skriptverbraucher zum Abrufen von Nachrichten verwenden.
    4. Und Verwenden Sie ETL- und Transformationszuordnungs-Verbraucher, um Daten zu importieren. ETL-Definitionen und Transformationszuordnungen geben die Transformationslogik an, die beim Abrufen von Daten über geplante Importe verwendet werden soll. Sie können dieselben ETL-Definitionen und Transformationszuordnungen verwenden, um die über Kafka empfangenen Events zu transformieren.
      Hinweis:
      Um den ETL-Verbraucher zu verwenden, benötigen Sie einen robusten Import Set-Umwandler. Ebenso benötigen Sie eine Transformationszuordnung, um den Transformationszuordnungsverbraucher zu verwenden.
    5. Schließlich können Sie Verwenden Sie den Kafka-Erstellerschritt und die ProducerV2-API, um Nachrichten zu veröffentlichen. Auf dieser Seite erfahren Sie, wie Sie sowohl den Kafka-Erstellerschritt in Flow Designer als auch die ProducerV2-API verwenden, um Nachrichten an Kafka zu übertragen.