Kafka サブスクリプションと統計情報の表示
トピックに追加したレコード数、処理したレコード数、残りの処理レコード数など、Kafka コンシューマーとそのパフォーマンスに関する詳細情報を表示します。
サブスクリプションは、コンシューマーに関連付けられたレコードです。コンシューマーに関する構成とパフォーマンスの詳細を保存します。サブスクリプションは、Kafka ストリームがアクティブ化されると作成されます。
- Kafka サブスクリプション
- メトリクス
- Kafka サブスクリプションパーティショングループ
- ストリームコネクト ログ
- Kafka コンシューマー統計情報
サブスクリプションレコードを表示するには、 . 表示するサブスクリプションの情報アイコン (
) を選択し、[レコードを開く] を選択します。
Kafka サブスクリプション
| フィールド | 説明 |
|---|---|
| 番号 | サブスクリプションレコードの番号。 |
| 状況 | コンシューマーのステータス。オプションは次のとおりです。
|
| トピックエイリアス | コンシューマーがメッセージを処理しているトピックのトピックエイリアス。 |
| コンシューマー ID | コンシューマーの一意の識別子。 |
| Kafka 自動位置ポリシー (Kafka Auto Position Policy) | コンシューマーがトピックからメッセージの読み取りを開始する場所を指定します。オプションは次のとおりです。
|
| シリアル化形式 | メッセージのシリアル化形式。オプションは次のとおりです。
|
| エラーあり | サブスクリプションにエラーがあるかどうかを示します。 |
| 最大同時実行 | メッセージの消費に使用される並列プロセッサーの最大数とパーティショングループの数。 |
| パーティショングループタイムアウト | サブスクリプションの各パーティショングループに割り当てられる最大時間 (ミリ秒) です。 |
| Kafka パーティション (Kafka partitions) | トピック内のパーティションの数。 |
| 最大バッチサイズ | 実行ごとに処理されるメッセージの最大数。オプションは次のとおりです。
|
メトリクス
- トピック入力率：トピックに追加された 1 秒あたりの平均レコード数。
- トピックキューの深さ：トピック内の、処理が必要な残りの平均レコード数。
- コンシューマー処理率：1 秒あたりの平均処理レコード数。[現在のキューを処理するための推定時間] には、現在キューにあるメッセージの処理に必要な時間が表示されます。これは、キュー深度とコンシューマー処理率に基づいて計算されます。推定時間は HH:MM:SS 形式です。
関連リンク
[コンシューマー処理レコードを開く] を選択して、メッセージを処理しているコンシューマーのレコードを表示します。
Kafka サブスクリプションパーティショングループ
| フィールド | 説明 |
|---|---|
| 番号 | パーティショングループの番号。 |
| このパーティショングループの所有者 (Owner of this partition group) | パーティショングループの所有ステータス。オプションは次のとおりです。
Kafka コンシューマージョブはアクティブ化されると、[なし] の所有者で初期に更新されたレコードを確認し、選択します。 次に、コンシューマージョブは所有者を [処理中] に変更し、10 秒間処理します。 処理が完了すると、ステータスが [なし] に戻るため、後で再度取得して処理できます。 コンシューマージョブがすべてのメッセージを処理する場合、所有者は 10 秒間 [ロック中] に設定され、その後再び [なし] に設定されます。 |
| 更新日時 | パーティショングループが最後に更新された日時。 |
| 所有権の失効タイミング (When is the ownership lost) | 所有権が失われる日時。 |
| 最初のパーティション (First partition) | パーティショングループの最初のパーティションの番号。 |
| 最後のパーティション (包含) (Last partition (inclusive)) | パーティショングループの最後のパーティションの番号。 |
| 入力率 (Input rate) 過去 5 分間、過去 1 時間、過去 24 時間。 |
パーティショングループに追加された 1 秒あたりの平均レコード数。 |
| コンシューマー処理 (Consumer processing) 過去 5 分間、過去 1 時間、過去 24 時間。 |
パーティショングループから消費された 1 秒あたりの平均メッセージ数。 |
| キュー深度 (Queue depth) 過去 5 分間、過去 1 時間、過去 24 時間。 |
パーティショングループ内の、処理が必要な残りの平均レコード数。 |
ストリームコネクト ログ
[ ストリームコネクト ログ] タブには、関連付けられたコンシューマーのログエントリが表示されます。各ログエントリには、いつ作成されたかが表示されます。そのレベル、メッセージ、およびソース。、関連するアラートまたはサブスクリプションレコードへのリンク。 ストリームコネクト ログは ストリームコネクト に保存されますログ [sys_consumer_log] テーブル。このテーブルには、プロデューサーのログ記録も含まれています。
システムプロパティを追加して glide.ih.kafka.stream_connect.debugtrue に設定することで、ストリームコネクトログのより詳細なログ記録を有効にすることができます。ログがいっぱいにならないように、このプロパティは 24 時間後に自動的に無効になります。24 時間を超える詳細なログ記録が必要な場合は、プロパティを手動で再度有効にすることができます。
glide.ih.kafka.producer.message_bytes_to_log プロパティを使用して、ログに表示するメッセージのバイト数を指定します。このプロパティは、プロデューサーのログ記録にのみ影響します。デフォルト値は 0 で、メッセージコンテンツはログに記録されません。
Kafka コンシューマー統計情報
| フィールド | 説明 |
|---|---|
| 作成済み | コンシューマー統計情報レコードが作成された日時。 |
| パーティショングループ (Partition group) | パーティショングループのレコード。 |
| トピックエイリアス | コンシューマーに関連付けられているトピックのトピックエイリアス。トピックエイリアスは、基礎となる任意の Hermes またはダイレクト Kafka トピックに接続できる一意のトピック名です。 |
| トピック | コンシューマーに関連付けられた Hermes またはダイレクト Kafka トピック。 |
| 間隔 | コンシューマー統計情報レコードの期間 (秒単位)。 間隔の長さは glide.ih.kafka.consumer.log_interval プロパティで変更できます。デフォルト値は 60 秒です。 glide.ih.kafka.consumer.log_empty_stats プロパティを使用して、指定の期間中に Kafka メッセージが生成または消費されない場合に、メッセージをコンシューマーログに記録するかどうかを指定できます。デフォルト値は true です。 |
| オフセット (OffSet) | パーティショングループのすべてのオフセットの合計。 |
| 終了オフセット | パーティショングループのすべての終了オフセットの合計。 |
| 遅延メッセージ (Lag messages) | 終了オフセットと現在のオフセットの差。 |
| 消費済みメッセージ (Consumed messages) | 指定の期間中にコンシューマーで処理されたメッセージの数。 |
| 生成メッセージ | 指定の期間中にトピックに対して生成されたメッセージの数。 |
| 消費済みバイト (Consumed bytes) | 指定の期間中コンシューマーで処理されたバイト数。 |
| コンシューマー ID | コンシューマーの一意の識別子。 |
| コンシューマーテーブル | 基礎となるコンシューマーテーブルの名前。次のいずれかになります。
|