Kafka 구독 및 통계 보기
주제에 추가된 기록 수, 처리된 기록 수, 처리할 남아 있는 기록 수 등 Kafka 소비자 및 해당 성능에 대한 자세한 정보를 봅니다.
구독은 소비자와 연결된 기록입니다. 소비자에 대한 구성 및 성능 세부 정보를 저장합니다. Kafka 스트림이 활성화되면 구독이 생성됩니다.
- Kafka 구독
- 메트릭
- Kafka 구독 파티션 그룹
- 스트리밍 연결 로그
- Kafka 소비자 통계
구독 기록을 보려면 다음으로 이동하십시오. . 보려는 구독의 정보 아이콘( 
)을 선택한 다음 기록 열기를 선택합니다.
Kafka 구독
| 필드 | 설명 |
|---|---|
| 번호 | 구독 기록의 번호입니다. |
| 상태 | 소비자의 상태입니다. 옵션은 다음과 같습니다.
|
| 주제 별칭 | 소비자가 메시지를 처리하는 주제의 주제 별칭입니다. |
| 소비자 ID | 소비자의 고유 식별자입니다. |
| Kafka 자동 위치 정책 | 소비자가 주제의 메시지 읽기를 시작하는 위치를 지정합니다. 옵션은 다음과 같습니다.
|
| 직렬화 형식 | 메시지의 직렬화 형식입니다. 옵션은 다음과 같습니다.
|
| 오류 있음 | 구독에 오류가 있는지 나타냅니다. |
| 최대 동시 허용 사용자 수 | 메시지를 소비하는 데 사용되는 최대 병렬 프로세서 수와 파티션 그룹 수입니다. |
| 파티션 그룹 시간 제한 | 구독의 각 파티션 그룹에 할당된 최대 시간(밀리초)입니다. |
| Kafka 파티션 | 항목의 파티션 수입니다. |
| 최대 배치 크기 | 실행당 처리된 최대 메시지 수입니다. 옵션은 다음과 같습니다.
|
메트릭
- 주제 입력 속도: 초당 주제에 추가된 평균 기록 수입니다.
- 토픽 큐 깊이: 토픽에서 처리할 남아 있는 평균 기록 수.
- 소비자 처리 속도: 초당 처리된 평균 기록 수입니다. 현재 큐를 처리할 예상 시간은 현재 큐에 있는 메시지를 처리하는 데 필요한 시간을 나타냅니다. 큐 깊이와 소비자 처리 속도를 기반으로 계산됩니다. 예상 시간은 HH:MM:SS 형식입니다.
관련 링크
소비자 처리 기록 열기를 선택하여 메시지를 처리하고 있는 소비자에 대한 기록을 봅니다.
Kafka 구독 파티션 그룹
| 필드 | 설명 |
|---|---|
| 번호 | 파티션 그룹의 번호입니다. |
| 이 파티션 그룹의 소유자 | 파티션 그룹의 소유권 상태입니다. 옵션은 다음과 같습니다.
Kafka 소비자 작업이 활성화되면 소유자가 none인 가장 먼저 업데이트된 기록을 확인하고 하나를 선택합니다. 그런 다음 소비자 작업은 소유자를 처리 중으로 변경하고 10초 동안 처리합니다. 처리가 완료되면 상태가 다시 없음으로 변경되므로 나중에 선택하여 다시 처리할 수 있습니다. 소비자 작업이 모든 메시지를 처리하는 경우 소유자를 10초 동안 LOCKED로 설정한 후 다시 NONE으로 설정됩니다. |
| 업데이트 일시 | 파티션 그룹이 마지막으로 업데이트된 날짜 및 시간입니다. |
| 소유권이 상실된 시점 | 소유권이 상실된 날짜 및 시간입니다. |
| 첫 번째 파티션 | 파티션 그룹의 첫 번째 파티션 번호입니다. |
| 마지막 파티션(포함) | 파티션 그룹의 마지막 파티션 번호입니다. |
| 입력 속도 지난 5분, 지난 1시간 및 지난 24시간 동안 주어졌습니다. |
파티션 그룹에 추가된 초당 평균 기록 수입니다. |
| 소비자 처리 지난 5분, 지난 1시간 및 지난 24시간 동안 주어졌습니다. |
초당 파티션 그룹에서 소비된 평균 메시지 수입니다. |
| 큐 깊이 지난 5분, 지난 1시간 및 지난 24시간 동안 주어졌습니다. |
파티션 그룹에서 처리할 남아 있는 평균 레코드 수입니다. |
스트리밍 연결 로그
로그 탭에는 스트리밍 연결 연결된 소비자에 대한 로그 항목이 표시됩니다. 각 로그 항목은 로그 항목이 생성된 시기를 보여줍니다. 그 수준, 메시지 및 출처; 관련 경보 또는 구독 기록에 대한 링크. 스트리밍 연결 로그는 스트리밍 연결 로그 [sys_consumer_log] 테이블입니다. 이 테이블에는 생산자에 대한 로깅 도 포함되어 있습니다.
시스템 속성을 추가하고 glide.ih.kafka.stream_connect.debugtrue로 설정하여 로그에 더 자세한 로깅을 스트리밍 연결 사용하도록 설정할 수 있습니다. 로그가 가득 차지 않도록 하기 위해 이 속성은 24시간 후에 자동으로 비활성화됩니다. 24시간 넘게 자세한 로깅이 필요한 경우 속성을 수동으로 다시 사용하도록 설정할 수 있습니다.
이 속성을 사용하여 glide.ih.kafka.producer.message_bytes_to_log 로그에 표시할 메시지의 바이트 수를 지정합니다. 이 속성은 생산자에 대한 로깅에만 영향을 줍니다. 기본값은 0이며 이는 메시지 컨텐츠가 기록되지 않음을 의미합니다.
Kafka 소비자 통계
| 필드 | 설명 |
|---|---|
| 작성됨 | 소비자 통계 기록이 생성된 날짜 및 시간입니다. |
| 파티션 그룹 | 파티션 그룹에 대한 기록입니다. |
| 주제 별칭 | 소비자와 연결된 주제의 주제 별칭입니다. 주제 별칭은 기본 Hermes 또는 직접 Kafka 주제에 연결할 수 있는 고유한 주제 이름입니다. |
| 주제 | 소비자와 Hermes 연결된 OR 직접 Kafka 주제입니다. |
| 간격 | 소비자 통계 기록의 기간(초)입니다. 속성으로 glide.ih.kafka.consumer.log_interval 간격 길이를 변경할 수 있습니다. 기본값은 60초입니다. 속성을 사용하여 glide.ih.kafka.consumer.log_empty_stats 간격 동안 생산되거나 소비된 Kafka 메시지가 없을 때 소비자 로그에 메시지를 기록할지 여부를 지정할 수 있습니다. 기본값은 true입니다. |
| 오프셋 | 파티션 그룹에 대한 모든 오프셋의 합계입니다. |
| 종료 오프셋 | 파티션 그룹에 대한 모든 종료 오프셋의 합계입니다. |
| 지연 메시지 | 종료 간격띄우기와 현재 간격띄우기의 차이입니다. |
| 소비한 메시지 | 간격 시간 동안 소비자가 처리한 메시지 수입니다. |
| 생산된 메시지 | 간격 시간 동안 주제에 대해 생산된 메시지 수입니다. |
| 소비한 바이트 | 간격 시간 동안 소비자가 처리한 바이트 수입니다. |
| 소비자 ID | 소비자의 고유 식별자입니다. |
| 소비자 테이블 | 기본 소비자 테이블의 이름입니다. 다음 중 하나입니다.
|