Source de données de type personnalisé (chargement par script)
Utilisez un script personnalisé pour stocker tout type de données entrantes dans la table de jeux d’importation.
Lorsque vous sélectionnez un type de personnalisation (chargement par script) pour votre source de données, le champ Chargeur de données s’affiche. Le champ Data Loader est un champ JavaScript dans lequel vous pouvez entrer un script pour extraire des données et les insérer dans la table de jeux d’importation à l’aide du import_set_table paramètre input. Par exemple, vous pouvez entrer un script pour obtenir des données à partir d’une API REST ou d’une pièce jointe.
Script du chargeur de données
import_set_table: table de jeu d’importation mentionnée dans l’enregistrement de source de données. Les données sont insérées dans cette table.data_source: source de données à laquelle il est fait référence dans l’enregistrement de source de données.import_log: journal qui enregistre des informations sur l’activité d’importation de données.last_success_import_time: la dernière fois que cette source de données a été exécutée avec succès.partition_info: informations de partitionnement des données. Utilisé pour le chargement parallèle.
addColumn(étiquette, maxLength): ajoute une colonne de type chaîne à la table de jeux d’importation.addJSONColumn(étiquette, maxLength): ajoute une colonne de type JSON à la table de jeux d’importation.addXMLColumn(étiquette, maxLength): ajoute une colonne de type XML à la table de jeux d’importation.insert(rowData): Insère une carte (clé = nom de colonne, valeur = valeur de colonne) dans la table de jeu d’importation.getMaximumRows(): renvoie 20 lorsque vous sélectionnez Tester le chargement de 20 enregistrements. Dans tous les autres cas, renvoie -1.
Exemple de chargeur de données
Script de chargement parallèle
parallel_job_loader: table Tâches parallèles [sys_parallel_job].data_source: source de données à laquelle il est fait référence dans l’enregistrement de source de données.import_log: journal qui enregistre des informations sur l’activité d’importation de données.
Le paramètre parallel_job_loader a la méthode add(partitionInfo), qui ajoute les informations de partition à la table Tâches parallèles [sys_parallel_job].
Exemple de chargement parallèle
Propriétés et statut du chargement parallèle
Si une tâche est bloquée dans un état En cours d’exécution pendant plus de 600 minutes, elle est automatiquement remise dans un état En attente . Vous pouvez modifier la durée pendant laquelle une tâche parallèle est autorisée à être bloquée à l’état En cours d’exécution avec la com.glide.system_parallel_job_inactive_time_minutes propriété.
Si une tâche parallèle ne peut pas se terminer après deux tentatives, la tâche est définie sur Erreur. Vous pouvez modifier le nombre de tentatives avant d’avoir un état d’erreur avec la com.glide.system_parallel_job_max_retry_count propriété. La com.glide.system_parallel_job_auto_retry propriété peut être définie sur false pour désactiver la nouvelle tentative automatique.
Vous pouvez vérifier l’état de vos tâches d’importation parallèle actuelles en accédant à , en sélectionnant votre tâche et en affichant l’onglet Tâches parallèles.
Saisie semi-automatique du script
Au fur et à mesure que vous tapez le script, la saisie semi-automatique du script affiche les options disponibles, comme illustré dans cet exemple.