Erstellen Sie einen Kafka-Stream

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 2 Minuten Lesedauer

    • Definieren Sie einen Datenstrom für einen ETL-, Transformationszuordnungs- oder Skriptverbraucher. Ein Kafka-Stream definiert den Datenstrom an Ihren Verbraucher.

    Vorbereitungen

    Warum und wann dieser Vorgang ausgeführt wird

    Sie müssen einen Kafka-Stream erstellen, um einen ETL-, Transformationszuordnungs- oder Skriptverbraucher zu verwenden. Nachdem Sie einen Verbraucher konfiguriert und einen Stream erstellt und aktiviert haben, können Sie Nachrichten aus Ihrer Kafka-Umgebung empfangen.

    Prozedur

    1. Öffnen Sie den Datensatz für Ihren ETL-, Transformationszuordnungs- oder Skriptverbraucher.
      Um einen Verbraucherdatensatz zu finden, navigieren Sie zu Alle > IntegrationHub > Verbraucher und wählen Sie ETL-Verbraucher, Transformationszuordnungsverbraucheroder Skriptverbraucheraus.
    2. Suchen Sie den Abschnitt Kafka-Streams, und wählen Sie Neuaus.
    3. Füllen Sie die Felder des Formulars aus.
      Tabelle : 1. Kafka-Stream
      Felder Beschreibung
      Name Name des Kafka-Streams.
      Thema Name des Themas, das auf Nachrichten überwacht werden soll.
      Max. Gleichzeitigkeit

      Maximale Anzahl paralleler Prozessoren, die zum Verarbeiten von Nachrichten verwendet werden sollen, und die Anzahl der zu erstellenden Partitionsgruppen.

      Standardwert: 1
      Relative Gewichtung

      Für jeden Zyklus die maximale Zeit, die dem Verbraucher für die Verarbeitung von Nachrichten im Verhältnis zu anderen Verbrauchern zugewiesen wird. Zum Beispiel erhält ein Verbraucher mit einer relativen Gewichtung, die doppelt so hoch ist wie die eines anderen Verbrauchers, doppelt so viel Zeit. Verbraucher mit der gleichen relativen Gewichtung erhalten die gleiche Zeit.

      Der Mindestwert ist 5. Der Höchstwert ist 2000. Der Standardwert entspricht der maximalen Gleichzeitigkeit multipliziert mit dem Wert der Eigenschaft glide.ih.kafka.consumer.max_seconds_per_partition_group. Die Eigenschaft glide.ih.kafka.consumer.max_seconds_per_partition_group gibt die maximale Zeit in Sekunden an, die jeder Partitionsgruppe zugewiesen werden darf. Der Standardwert ist 10.

      Das System verwendet die relative Gewichtung, um die Zeitüberschreitung der Partitionsgruppe für das Abonnement zu berechnen. Die Zeitüberschreitung der Partitionsgruppe gibt die maximale Zeit in Millisekunden an, die jeder Partitionsgruppe in einem bestimmten Abonnement zugewiesen werden kann.

      Dieses Feld wird nur angezeigt, wenn Erweitert ausgewählt ist.
      Beginnen Sie mit dem Verbrauchen Option, um anzugeben, wo mit der Verarbeitung von Nachrichten aus dem Thema begonnen werden soll. Wählen Sie eine der folgenden Antworten aus.
      • Nachrichten, die nach der ersten Aktivierung empfangen wurden: Verbraucht nur Nachrichten, die das Thema erhalten hat, nachdem der Stream aktiviert wurde.
      • Alle im Thema gespeicherten Nachrichten: Verbraucht alle Nachrichten im Thema, auch Nachrichten, die empfangen wurden, bevor der Stream aktiviert wurde.
      Nachrichtenverarbeitung Option, um die Anzahl der pro Ausführung verarbeiteten Nachrichten anzugeben oder die Anzahl der Nachrichten vom System bestimmen zu lassen. Wählen Sie eine der folgenden Antworten aus.
      • Automatisch optimieren: Das System bestimmt die Anzahl der pro Ausführung zu verarbeitenden Nachrichten.
      • Manuell überschreiben: Sie geben die Anzahl der pro Ausführung zu verarbeitenden Nachrichten an.
      Dieses Feld wird nur angezeigt, wenn Erweitert ausgewählt ist.
      Maximale Anzahl Nachrichten

      Maximale Anzahl der pro Ausführung zu verarbeitenden Nachrichten.

      Dieses Feld wird nur angezeigt, wenn Manuell überschreiben unter Nachrichtenverarbeitungausgewählt ist.
      Ausführen als Option zum Ausführen des Verbrauchers mit den Anmeldeinformationen eines angegebenen Benutzers.
      Kafka ETL-Verbraucher Der Name des Verbrauchers, an den Daten gestreamt werden sollen. Dieses Feld wird automatisch auf den Namen des Verbrauchers festgelegt, von dem aus Sie mit dem Hinzufügen des Streams begonnen haben.
      Aktiv Option zum Aktivieren des Streams.
      Erweitert Option zum Anzeigen der erweiterten Felder Relative Gewichtung und Nachrichtenverarbeitung.
    4. Wählen Sie unter Zugehörige Links die Option Aktivierenaus.
      Nachdem der Stream aktiviert wurde, erstellt das System automatisch ein Kafka-Abonnement für den zugeordneten Verbraucher.
    5. Wählen Sie Absenden.

    Ergebnisse

    Wenn Sie den Stream aktivieren, beginnt der Verbraucher mit der Suche nach Nachrichten, die im angegebenen Thema verarbeitet werden sollen. Sie können detaillierte Informationen über den Verbraucher und seine Leistung anzeigen, indem Sie die Abonnementseite aufrufen. Details finden Sie unter Anzeigen von Kafka-Abonnements und -Statistiken.