Kafka 스트림 만들기

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 02월 01일
  • 읽기3분
  • ETL(추출 변환 로드), 변환 맵 또는 스크립트 이용자에 대한 데이터 스트림을 정의합니다. Kafka 스트림은 소비자에 대한 데이터 스트림을 정의합니다.

    시작하기 전에

    이 태스크 정보

    ETL, 변환 맵 또는 스크립트 소비자를 사용하려면 Kafka 스트림을 생성해야 합니다. 소비자를 구성하고 스트림을 생성 및 활성화한 후 Kafka 환경에서 메시지 수신을 시작할 수 있습니다.

    프로시저

    1. ETL, 변환 맵 또는 스크립트 소비자에 대한 기록을 엽니다.
      소비자 기록을 찾으려면 다음으로 이동합니다. 모두 > 통합 허브 > 소비자 을 클릭하고 ETL 소비자, 변환 맵 소비자 또는 스크립트 소비자를 선택합니다.
    2. Kafka 스트림 섹션을 찾아 새로 만들기를 선택합니다.
    3. 양식에서 필드에 내용을 입력합니다.
      표 1. Kafka 스트림
      필드 설명
      이름 Kafka 스트림의 이름입니다.
      주제 메시지를 모니터링할 주제의 이름입니다.
      최대 동시 허용 사용자 수

      메시지를 사용하는 데 사용할 최대 병렬 프로세서 수와 만들 파티션 그룹 수입니다.

      기본값: 1

      상대적 가중치

      각 주기에서 다른 소비자에 비해 메시지 처리를 위해 사용자에게 할당된 최대 시간입니다. 예를 들어, 상대적 가중치가 다른 소비자보다 두 배 높은 소비자는 두 배의 시간을 얻습니다. 상대적 가중치가 동일한 소비자에게는 동일한 시간이 부여됩니다.

      최솟값은 5입니다. 최댓값은 2000입니다. 기본값은 최대 동시성에 속성 값을 glide.ih.kafka.consumer.max_seconds_per_partition_group 곱한 값과 같습니다. 이 glide.ih.kafka.consumer.max_seconds_per_partition_group 속성은 각 파티션 그룹에 할당되는 최대 시간(초)을 지정합니다. 기본값은 10입니다.

      시스템은 상대적 가중치를 사용하여 구독에 대한 파티션 그룹 시간 제한을 계산합니다. 파티션 그룹 시간 제한은 특정 구독의 각 파티션 그룹에 할당되는 최대 시간(밀리초)을 지정합니다.

      이 필드는 고급 을 선택한 경우에만 나타납니다.
      소비 시작 주제에서 메시지 사용을 시작할 위치를 지정하는 옵션입니다. 다음 중 하나를 선택하십시오.
      • 첫 번째 활성화 후 수신된 메시지: 스트림이 활성화된 후 주제가 수신된 메시지만 사용합니다.
      • 주제에 저장된 모든 메시지: 주제의 모든 메시지(스트림이 활성화되기 전에 수신된 메시지 포함)를 사용합니다.
      메시지 처리 실행당 처리되는 메시지 수를 지정하거나 시스템에서 메시지 수를 결정하도록 하는 옵션입니다. 다음 중 하나를 선택하십시오.
      • 자동 최적화: 시스템은 실행당 처리할 메시지 수를 결정합니다.
      • 수동 재정의: 실행당 처리할 메시지 수를 지정합니다.
      이 필드는 고급 을 선택한 경우에만 나타납니다.
      최대 메시지 수

      실행당 처리할 최대 메시지 수입니다.

      이 필드는 메시지 처리에서 수동으로 재정의를 선택한 경우에만 나타납니다.

      다른 사용자 이름으로 실행 지정된 사용자의 자격 증명으로 소비자를 실행하는 옵션입니다.
      Kafka ETL 소비자 데이터를 스트리밍할 소비자의 이름입니다. 이 필드는 스트림 추가를 시작한 소비자의 이름으로 자동 설정됩니다.
      활성 스트림을 활성화하는 옵션입니다.
      고급 고급 필드인 상대적 가중치메시지 처리를 보는 옵션입니다.
    4. 관련 링크에서 활성화를 선택합니다.
      스트림이 활성화되면 시스템이 연결된 소비자에 대한 Kafka 구독을 자동으로 생성합니다.
    5. 제출을 선택합니다.

    결과

    스트림을 활성화하면 소비자는 지정된 주제에서 처리할 메시지를 찾기 시작합니다. 구독 페이지를 방문하여 소비자 및 성능에 대한 자세한 정보를 볼 수 있습니다. 자세한 내용은 Kafka 구독 및 통계 보기 문서를 참조하십시오.