Erstellen Sie einen Kafka-Stream

  • Freigeben Version: Yokohama
  • Aktualisiert 30. Januar 2025
  • 2 Minuten Lesedauer

    • Definieren Sie einen Datenstrom für einen Extraktor der Transformationslast (ETL), eine Transformationszuordnung oder einen Skript-Verbraucher. Ein Kafka-Stream definiert den Datenstrom zu Ihrem Verbraucher.

    Vorbereitungen

    Warum und wann dieser Vorgang ausgeführt wird

    Sie müssen einen Kafka-Stream erstellen, um eine ETL-, eine Transformationszuordnungs- oder einen Skript-Verbraucher zu verwenden. Nachdem Sie einen Verbraucher konfiguriert und einen Stream erstellt und aktiviert haben, können Sie Nachrichten von Ihrer Kafka-Umgebung empfangen.

    Prozedur

    1. Öffnen Sie den Datensatz für Ihren ETL-, Transformationszuordnungs- oder Skript-Verbraucher.
      Um einen Verbraucherdatensatz zu finden, navigieren Sie zu Alle > IntegrationHub > Verbraucher und wählen Sie ETL-Verbraucher, Transformationszuordnungsverbraucheroder Skriptverbraucheraus.
    2. Suchen Sie den Abschnitt Kafka Streams, und wählen Sie Neuaus.
    3. Füllen Sie die Felder des Formulars aus.
      Tabelle : 1. Kafka-Stream
      Felder Beschreibung
      Name Name des Kafka-Streams.
      Thema Name des Themas, das auf Nachrichten überwacht werden soll.
      Max. Gleichzeitigkeit

      Maximale Anzahl paralleler Prozessoren für die Verarbeitung von Nachrichten und Anzahl der zu erstellenden Partitionsgruppen.

      Standardwert: 1
      Relative Gewichtung

      Für jeden Zyklus die maximale Zeit, die dem Verbraucher für die Verarbeitung von Nachrichten im Vergleich zu anderen Verbrauchern zugewiesen wird. Beispiel: Ein Verbraucher mit einer relativen Gewichtung, die doppelt so hoch ist wie die eines anderen Verbrauchers, erhält doppelt so viel Zeit. Verbraucher mit dem gleichen relativen Gewicht erhalten den gleichen Zeitraum.

      Der Mindestwert ist 5. Der Höchstwert ist 2000. Der Standardwert entspricht der maximalen Gleichzeitigkeit multipliziert mit dem Wert der Eigenschaft glide.ih.kafka.consumer.max_seconds_per_partition_group. Die Eigenschaft glide.ih.kafka.consumer.max_seconds_per_partition_group gibt die maximale Zeit in Sekunden an, die jeder Partitionsgruppe zugewiesen ist. Der Standardwert ist 10.

      Das System verwendet die relative Gewichtung, um die Zeitüberschreitung der Partitionsgruppe für das Abonnement zu berechnen. Die Zeitüberschreitung für Partitionsgruppen gibt die maximale Zeit in Millisekunden an, die jeder Partitionsgruppe in einem bestimmten Abonnement zugewiesen ist.

      Dieses Feld wird nur angezeigt, wenn Erweitert ausgewählt ist.
      Verwendung beginnen Option zum Angeben, wo mit der Verwendung von Nachrichten aus dem Thema begonnen werden soll. Wählen Sie eine der folgenden Antworten aus.
      • Nach der ersten Aktivierung empfangene Nachrichten: Verbraucht nur Nachrichten, die das Thema nach der Aktivierung des Streams empfangen hat.
      • Alle im Thema gespeicherten Nachrichten: Verbraucht alle Nachrichten im Thema, auch Nachrichten, die vor der Aktivierung des Streams empfangen wurden.
      Nachrichtenverarbeitung Option, um die Anzahl der pro Ausführung verarbeiteten Nachrichten anzugeben oder das System die Anzahl der Nachrichten bestimmen zu lassen. Wählen Sie eine der folgenden Antworten aus.
      • Automatisch optimieren: Das System bestimmt die Anzahl der pro Ausführung zu verarbeitenden Nachrichten.
      • Manuelle Überschreibung: Sie geben die Anzahl der Nachrichten an, die pro Ausführung verarbeitet werden sollen.
      Dieses Feld wird nur angezeigt, wenn Erweitert ausgewählt ist.
      Maximale Nachrichten

      Maximale Anzahl der pro Ausführung zu verarbeitenden Nachrichten.

      Dieses Feld wird nur angezeigt, wenn Manuelle Überschreibung unter Nachrichtenverarbeitungausgewählt ist.
      Ausführen als Option zum Ausführen des Verbrauchers mit den Anmeldeinformationen eines angegebenen Anwenders.
      Kafka-ETL-Verbraucher Der Name des Verbrauchers, an den Daten gestreamt werden sollen. Dieses Feld wird automatisch auf den Namen des Verbrauchers festgelegt, ab dem Sie das Hinzufügen des Streams gestartet haben.
      Aktiv Option zum Aktivieren des Streams.
      Erweitert Option zum Anzeigen der erweiterten Felder Relative Gewichtung und Nachrichtenverarbeitung.
    4. Wählen Sie unter Zugehörige Links die Option Aktivieren aus.
      Nachdem der Stream aktiviert wurde, erstellt das System automatisch ein Kafka-Abonnement für den zugehörigen Verbraucher.
    5. Wählen Sie Absenden.

    Ergebnisse

    Wenn Sie den Stream aktivieren, beginnt der Verbraucher mit der Suche nach Nachrichten, die im angegebenen Thema verarbeitet werden sollen. Detaillierte Informationen zum Verbraucher und seiner Leistung können Sie auf der Abonnementseite anzeigen. Details finden Sie unter Kafka-Abonnements und -Statistiken anzeigen.