병렬 익스포트

  • 릴리스 버전: Australia
  • 업데이트 날짜 2026년 03월 12일
  • 소요 시간: 2분

    • 발신 데이터를 여러 익스포트 세트로 분할하고 익스포트 세트를 병렬로 처리하여 처리 시간을 줄입니다.

    시간이 많이 걸리는 스크립트가 있는 대규모 데이터 세트로 인해 익스포트가 오래 걸리는 경우 병렬 익스포트를 실행하는 것이 유용할 수 있습니다.

    병렬 익스포트는 50,000개 이상의 기록이 있는 익스포트에 가장 효과적입니다. 익스포트가 최소 요구 사항을 충족하지 않으면 시스템에서 자동으로 표준 익스포트 처리를 사용합니다.

    병렬 익스포트 작동 방식

    병렬 익스포트를 활성화하면 시스템에서 데이터를 여러 청크로 분할하고 동시에 처리하여 처리 시간을 줄입니다. 청크 수는 인스턴스 노드 구성에 따라 달라지며 청크 수 = (노드 수) × (배율 인수)으로 계산됩니다. 기본 배율 인수는 1이며 최소 2개의 청크가 필요합니다.

    병렬 익스포트를 실행하면 시스템은 시스템 속성 값(기본값 = 10)까지 여러 개의 익스포트 세트를 glide.scheduled_export.min_rows_for_parallel_export 생성합니다. 예:
    • 2노드 클러스터는 4개의 익스포트 세트를 생성합니다.
    • 10개의 노드 클러스터는 10개의 익스포트 세트를 생성합니다.
    각 활성 노드는 1분마다 두 개의 익스포트 세트 프로세서 작업을 실행합니다. 이러한 작업은 다음과 같습니다.
    1. 병렬 익스포트 세트 작업 큐 폴링
    2. 큐에서 익스포트 세트 선택
    3. 익스포트 세트 처리

    모든 작업은 작업자 스레드의 가용성에 따라 동시에 실행됩니다.

    병렬 익스포트 기록 구조

    각 병렬 익스포트는 병렬 익스포트 세트 기록을 생성합니다. 양식 뷰에는 다음이 표시됩니다.
    • 모든 관련 익스포트 세트
    • 병렬 익스포트 세트 작업
    • 익스포트 이력

    병렬 익스포트에는 기본적으로 50,000개의 행이 필요합니다. 이 임계치를 사용하면 상당한 성능 이점을 제공하는 대규모 데이터 세트에만 병렬 처리를 사용할 수 있습니다.

    이 임계치를 사용자 지정하려면 정수 값을 사용하여 시스템 속성을 glide.scheduled_export.min_rows_for_parallel_export 생성합니다.

    병렬 익스포트가 활성화된 상태에서 익스포트가 실행되는 경우:
    • PESO 프리픽스를 사용하여 병렬 익스포트 세트 기록이 생성됩니다(예: PESO010001).
    • PESJ 접두사(예: PESJ0010001, PESJ0010002)를 사용하여 청크당 하나씩 여러 병렬 익스포트 세트 작업 기록이 생성됩니다.
    • 청크당 하나씩 여러 개의 익스포트 이력 기록이 생성됩니다.
    • 각 익스포트 이력 기록에는 익스포트된 파일 첨부 파일이 포함되어 있습니다.

    익스포트 이력 기록의 병렬 익스포트 세트 및 병렬 익스포트 세트 작업 필드는 병렬 익스포트 세트 및 개별 작업으로 다시 연결됩니다.

    병렬 익스포트의 파일은 MID 서버의 병렬 하위 폴더( {MID_Server}/agent/export/parallel/{configured_path}/)에 저장됩니다. 파일 명명 형식에는 병렬 익스포트 세트 번호, 익스포트 세트 이름, 타임스탬프 및 순차적 파일 번호가 포함됩니다. 예: PESO0100001_incident__20251204001638_1.xlsx. 각 청크(_1, _2, _3 등)에 대해 파일 번호가 증가합니다.