並列エクスポート
送信データを複数のエクスポートセットに分割し、エクスポートセットを並列に処理して、処理時間を短縮します。
並列エクスポートの実行は、時間がかかるスクリプトを含む大規模なデータセットのためにエクスポートに時間がかかる場合に役立ちます。
並列エクスポートは、50,000 レコード以上のエクスポートに最も効果的です。エクスポートが最小要件を満たしていない場合、システムは自動的に標準のエクスポート処理を使用します。
並列エクスポートの仕組み
並列エクスポートを有効にすると、システムはデータを複数のチャンクに分割して同時に処理し、処理時間を短縮します。チャンク数はインスタンスノード構成によって異なり、チャンク数 = (ノード数) × (スケールファクター) として計算されます。デフォルトの尺度値は 1 で、最低 2 つのチャンクが必要です。
- 2 ノードクラスターは 4 つのエクスポートセットを生成します
- 10 ノードのクラスターは 10 個のエクスポートセットを生成します
- 並列エクスポートセットジョブキューのポーリング
- キューからエクスポートセットを選択
- エクスポートセットを処理する
ワーカースレッドの可用性に応じて、すべてのジョブが同時に実行されます。
並列エクスポートレコード構造
- 関連するすべてのエクスポートセット
- 並列エクスポートセットジョブ
- エクスポート履歴
並列エクスポートには、デフォルトで 50,000 行が必要です。このしきい値により、並列処理は、パフォーマンス上大きなメリットが得られる大規模なデータセットに対してのみ使用できます。
このしきい値をカスタマイズするには、整数値を使用してシステムプロパティ glide.scheduled_export.min_rows_for_parallel_export を作成します。
- 並列エクスポートセットレコードは、PESO プリフィックス (例:PESO010001) を使用して作成されます
- 複数の並列エクスポートセットジョブレコードが、チャンクごとに 1 つずつ、PESJ プリフィックス付きで作成されます (例:PESJ0010001、PESJ0010002)
- チャンクごとに 1 つずつ、複数のエクスポート履歴レコードが作成されます
- 各エクスポート履歴レコードには、エクスポートされた添付ファイルが含まれています
エクスポート履歴レコードの [並列エクスポートセット ] フィールドと [並列エクスポートセットジョブ ] フィールドは、並列エクスポートセットと個々のジョブにリンクしています。
並列エクスポートからのファイルは、MID サーバーの並列サブフォルダー {MID_Server}/agent/export/parallel/{configured_path}/ に保存されます。ファイル命名形式には、並列エクスポートセット番号、エクスポートセット名、タイムスタンプ、および連続したファイル番号が含まれます ( 例:PESO0100001_incident__20251204001638_1.xlsx)。ファイル番号はチャンクごとに増分します (_1、_2、_3 など)。