Anzeigen von Kafka-Abonnements und -Statistiken

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 3 Minuten Lesedauer

    • Zeigen Sie detaillierte Informationen über einen Kafka-Verbraucher und seine Leistung an, einschließlich der Anzahl der dem Thema hinzugefügten Datensätze, der Anzahl der verarbeiteten Datensätze und der Anzahl der verbleibenden zu verarbeitenden Datensätze.

    Ein Abonnement ist ein Datensatz, der einem Verbraucher zugeordnet ist. Darin werden Konfigurations- und Leistungsdetails zum Verbraucher gespeichert. Ein Abonnement wird erstellt, wenn ein Kafka-Stream aktiviert wird.

    Jede Abonnementseite enthält die folgenden Abschnitte.
    • Kafka-Abonnement
    • Metriken
    • Kafka-Abonnementpartitionsgruppen
    • Verbraucherprotokolle
    • Kafka-Verbraucherstatistiken

    Um einen Abonnementdatensatz anzuzeigen, navigieren Sie zu IntegrationHub > Stream Connect > Abonnements. Wählen Sie das Infosymbol ( Infosymbol) für das Abonnement aus, das Sie anzeigen möchten, und wählen Sie dann Datensatz öffnenaus.

    Abbildung : 1. Beispielabonnementseite für einen Kafka-Verbraucher
    Die Kafka-Abonnementseite mit Abonnementdetails, Metriken und Informationen zu Partitionsgruppen, Verbraucherprotokollen und Verbraucherstatistiken.

    Kafka-Abonnement

    Im Abschnitt „Kafka-Abonnement“ werden Konfigurationsdetails für den Verbraucher und das Abonnement angezeigt.
    Feld Beschreibung
    Nummer Nummer des Abonnementdatensatzes.
    Status Status des Verbrauchers. Die Optionen sind:
    • AKTIV
    • AKTUALISIERT
    • WIRD ANGEHALTEN
    Thema Thema, aus dem der Verbraucher Nachrichten verarbeitet.
    Verbraucher-ID Eindeutiger Bezeichner für den Verbraucher.
    Kafka-Richtlinie für automatische Position Gibt an, wo der Verbraucher mit dem Lesen von Nachrichten aus dem Thema beginnt. Die Optionen sind:
    • frühestens: Der Verbraucher beginnt mit dem Lesen ab der frühesten verfügbaren Nachricht im Thema.
    • spätestens: Der Verbraucher liest nur die Nachrichten, die an das Thema übermittelt wurden, nachdem der Verbraucher gestartet wurde.
    Fehler ausgelöst Gibt an, ob das Abonnement Fehler enthält.
    Max. Gleichzeitigkeit Maximale Anzahl paralleler Prozessoren, die zum Verarbeiten von Nachrichten verwendet werden, und die Anzahl der Partitionsgruppen.
    Zeitüberschreitung der Partitionsgruppe Maximale Zeit in Millisekunden, die jeder Partitionsgruppe im Abonnement zugewiesen ist.
    Kafka-Partitionen Anzahl der Partitionen im Thema.
    Max. Batchgröße Maximale Anzahl der pro Ausführung verarbeiteten Nachrichten. Die Optionen sind:
    • Automatisch optimiert: Das System wählt die Anzahl der Nachrichten aus.
    • Nummer: Der Benutzer hat manuell eine Nummer ausgewählt.

    Metriken

    Jede Metrik wird über drei Zeitintervalle gemessen: die letzten fünf Minuten, die vorherige Stunde und die letzten 24 Stunden.
    • Themeneingaberate: Die durchschnittliche Anzahl der dem Thema hinzugefügten Datensätze pro Sekunde.
    • Verbraucherverarbeitungsrate: Die durchschnittliche Anzahl der pro Sekunde verarbeiteten Datensätze.
    • Tiefe der Themenwarteschlange: Die durchschnittliche Anzahl der verbleibenden Datensätze, die im Thema verarbeitet werden müssen.

    Kafka-Abonnementpartitionsgruppen

    Die Registerkarte Kafka-Abonnementpartitionsgruppen zeigt die folgenden Details.
    Feld Beschreibung
    Nummer Nummer für die Partitionsgruppe.
    Besitzer dieser Partitionsgruppe Besitzstatus der Partitionsgruppe. Die Optionen sind:
    • KEINE: Die Partitionsgruppe gehört keinen Kafka-Verbraucheraufträgen. Es kann abgerufen und verarbeitet werden.
    • VERARBEITUNG: Die Partitionsgruppe gehört einem Kafka-Verbraucherauftrag und verarbeitet Nachrichten.
    • GESPERRT: Die Partitionsgruppe gehört keinem Kafka-Verbraucherauftrag und kann nicht abgerufen werden.

    Wenn ein Kafka-Verbraucherauftrag aktiviert wird, wird nach dem frühesten aktualisierten Datensatz mit dem Besitzer NONE gesucht und einer ausgewählt.

    Dann ändert der Verbraucherauftrag den Besitzer in PROCESSING und verarbeitet ihn 10 Sekunden lang.

    Wenn die Verarbeitung abgeschlossen ist, wird der Status wieder in KEINE geändert, sodass er später erneut abgerufen und verarbeitet werden kann.

    Wenn der Verbraucherauftrag alle Nachrichten verarbeitet, wird der Besitzer für 10 Sekunden auf GESPERRT gesetzt. Danach wird er erneut auf KEINE gesetzt.
    Aktualisiert Datum und Uhrzeit der letzten Aktualisierung der Partitionsgruppe.
    Wann geht der Besitz verloren Datum und Uhrzeit des Besitzverlusts.
    Erste Partition Nummer der ersten Partition für die Partitionsgruppe.
    Letzte Partition (inklusive) Nummer der letzten Partition für die Partitionsgruppe.
    Eingaberate

    Angegeben für die letzten fünf Minuten, die letzte Stunde und die letzten 24 Stunden.

    		 Durchschnittliche Anzahl der Datensätze, die der Partitionsgruppe pro Sekunde hinzugefügt werden.
    Verbraucherverarbeitung

    Angegeben für die letzten fünf Minuten, die letzte Stunde und die letzten 24 Stunden.

    		 Durchschnittliche Anzahl der pro Sekunde verarbeiteten Nachrichten aus der Partitionsgruppe.
    Warteschlangentiefe

    Angegeben für die letzten fünf Minuten, die letzte Stunde und die letzten 24 Stunden.

    		 Durchschnittliche Anzahl der verbleibenden Datensätze, die in der Partitionsgruppe verarbeitet werden müssen.

    Verbraucherprotokolle

    Auf der Registerkarte Verbraucherprotokolle werden die Protokolleinträge für den zugeordneten Verbraucher angezeigt. Sie zeigt an, wann jeder Eintrag erstellt wurde, seine Protokollebene, die Nachricht und die Quelle. Verbraucherprotokolle werden in der Tabelle „Verbraucherprotokolle“ [sys_consumer_log] gespeichert.

    Sie können die Anzahl der Protokollnachrichten erhöhen, die den Verbraucherprotokollen hinzugefügt werden, indem Sie die Eigenschaft glide.ih.kafka.debug.consume aktivieren.

    Kafka-Verbraucherstatistiken

    Die Registerkarte Kafka-Verbraucherstatistiken zeigt die folgenden Details.
    Feld Beschreibung
    Erstellt Datum und Uhrzeit der Erstellung des Verbraucherstatistikdatensatzes.
    Intervall Dauer für den Verbraucherstatistikdatensatz, angegeben in Sekunden.

    Sie können die Länge des Intervalls mit der Eigenschaft glide.ih.kafka.consumer.log_interval ändern. Der Standardwert beträgt 60 Sekunden.

    Mit der Eigenschaft glide.ih.kafka.consumer.log_empty_stats können Sie angeben, ob Nachrichten im Verbraucherprotokoll protokolliert werden sollen, wenn während des Intervalls keine erstellten oder verbrauchten Kafka-Nachrichten vorhanden sind. Der Standardwert ist „true“.
    Erzeugte Nachrichten Anzahl der Nachrichten, die während der Intervallzeit für das Thema erstellt wurden.
    Verbrauchte Nachrichten Anzahl der vom Verbraucher während der Intervallzeit verarbeiteten Nachrichten.
    Verbrauchte Bytes Anzahl der vom Verbraucher während der Intervallzeit verarbeiteten Bytes.
    Offset Summe aller Offsets für die Partitionsgruppe.
    Verzögerungsnachrichten Differenz zwischen dem End-Offset und dem aktuellen Offset.
    Ende-Offset Summe aller End-Offsets für die Partitionsgruppe.
    Partitionsgruppe Datensatz für die Partitionsgruppe.