Importations simultanées
Fractionnez les données entrantes en plusieurs ensembles d’importation et transformez simultanément les ensembles d’importation pour réduire le temps de traitement.
L’exécution d’une importation simultanée peut être utile lorsque l’ordre n’a pas d’importance et que les importations prennent beaucoup de temps en raison du volume des jeux de données avec des scripts chronophages. Si l’ordre compte, vous pouvez diviser l’importation en plusieurs partitions pour vous assurer que chaque partition est traitée dans l’ordre.
Activez les importations simultanées uniquement après avoir ajusté tous les autres paramètres, tels que les index de base de données et les transformations.
Planification des importations simultanées
Vous activez les importations simultanées en sélectionnant Importation simultanée sur le formulaire Importation de données planifiée. Pour obtenir des instructions, consultez Planifier une importation de données.
Lorsque la planification exécute une importation simultanée, le système extrait les données des bases de données, des feuilles de calcul Excel, des fichiers CSV ou d’autres sources vers une table intermédiaire temporaire, puis transforme les données de la table intermédiaire en table cible.
Lorsque vous exécutez une importation simultanée, le système crée plusieurs ensembles d’importation, jusqu’à la valeur de la glide.scheduled_import.max.concurrent.import_sets propriété système (valeur par défaut = 10). Par exemple, un cluster à deux nœuds produit quatre ensembles d’importation, et un cluster à dix nœuds produit dix ensembles d’importation.
Tâche du transformateur de jeu d’importation
Chaque nœud actif exécute deux tâches Import Set Transformer toutes les minutes, qui interrogent la file d’attente des tâches de jeux concurrents d’importation, sélectionnent les ensembles de données à importer dans la file d’attente et transforment ces ensembles de données à importer. Toutes les tâches s’exécutent simultanément, en fonction de la disponibilité des threads de travail.
Enregistrement du jeu concurrents d’importation
Chaque importation simultanée crée un enregistrement de jeu d’importations simultanées. La vue de formulaire affiche tous les jeux d’importation connexes, les tâches de jeux d’importation simultanés et les historiques de transformation.
Vous pouvez reprendre ou retraiter n’importe quel jeu d’importation. Pour plus d'informations, consultez Surveiller les jeux concurrents d’importation.
File d’attente des tâches de jeux concurrents d’importation
Après le chargement des données, le système ajoute les jeux d’importation à la table Tâches de jeux concurrents d’importation. La table Tâches de jeux concurrents d’importation indique le type de tâche et l’état de chaque tâche de jeu d’importation simultanée.
Pour plus d'informations, consultez Surveiller les tâches de jeux concurrents d’importation.
Partitionnement des importations simultanées
Vous pouvez partitionner les ensembles de données à importer pour conserver l’ordre de traitement dans chaque partition.
Par défaut, le système alloue des enregistrements aux jeux d’importation selon un tour de tableau. Toutefois, vous pouvez écrire un script personnalisé pour définir une clé de partition personnalisée qui identifie le jeu d’importation cible. Chaque ligne avec la même clé de partition est ajoutée au même jeu d’importation, et les données de ce jeu d’importation sont traitées dans l’ordre séquentiel.
Importations hiérarchiques
Vous pouvez créer une hiérarchie d’ensembles de données à importer planifiées en planifiant une importation pour qu’elle s’exécute une fois qu’un autre ensemble de données à importer est terminé. Une importation planifiée parent peut avoir plusieurs importations planifiées enfants, et chaque importation planifiée enfant s’exécute dans l’ordre spécifié. Pour les importations planifiées simultanées, les importations planifiées enfants ne peuvent être lancées qu’une fois que toutes les tâches du transformateur de jeu d’importation sont terminées.
La dernière tâche du transformateur de jeu d’importation lance l’importation suivante dans la hiérarchie.
Le système génère un plan d’exécution au début du processus d’importation parent. Chaque processus d’importation utilise le plan d’exécution pour extraire le processus suivant à invoquer. Pour les importations simultanées, la dernière tâche de transformateur de jeu d’importation récupère l’importation suivante et l’exécute.
Insertions synchronisées
Les champs de fusion aident à définir l’unicité des enregistrements. Le processus de transformation recherche un enregistrement existant avec les valeurs de fusion et met à jour l’enregistrement existant, s’il existe, ou insère un nouvel enregistrement s’il n’en existe pas. Pour plus d'informations, consultez Mise à jour des enregistrements à l’aide de la fusion.
Par défaut, les importations simultanées permettent à chaque jeu d’importation en cours d’exécution d’insérer de nouveaux enregistrements. Lorsqu’un jeu d’importation insère un enregistrement, il établit un verrou d’écriture sur la table cible pour empêcher d’autres jeux d’importation d’insérer le même enregistrement.
Tables pour importations simultanées
| Table | Description |
|---|---|
| Jeu concurrents d’importation (sys_concurrent_import_set) | Stocke les détails de chaque jeu d’importation simultané dans les enregistrements des jeux d’importation. |
| Tâches de jeux concurrents d’importation (sys_concurrent_import_set_job) | Répertorie les ensembles de données à importer à traiter. |
| Contexte d’exécution de l’importation planifiée (sys_execution_context) | Spécifie le contexte d’exécution de chaque importation planifiée. Le contexte d’exécution spécifie la prochaine importation planifiée à utiliser lors du traitement d’une importation planifiée hiérarchique. |
| Plan d’exécution de l’importation planifiée hiérarchique (sys_execution_plan). | Stocke le plan d’exécution pour les importations hiérarchiques. Le plan d’exécution est une arborescence qui identifie l’importation planifiée qui s’exécute après l’entrée planifiée précédente. |
Séparation en domaines avec importations simultanées
Vous pouvez ajouter le champ sys_domain à une table d’importation planifiée afin d’activer la séparation de domaine pour le jeu d’importation. Les tâches de chargement et de transformation des ensembles d’importation s’exécutent dans le domaine spécifié dans la tâche de jeu d’importation planifiée.