Source de données de type personnalisé (chargement par script)

  • Rversion finale: Xanadu
  • Mis à jour 1 août 2024
  • 3 minutes de lecture

    • Utilisez un script personnalisé pour stocker n’importe quel type de données entrantes dans la table de jeux d’importation.

    Lorsque vous sélectionnez un type de personnalisation (chargement par script) pour votre source de données, le champ Chargeur de données s’affiche. Le champ Chargeur de données est un champ JavaScript dans lequel vous pouvez entrer un script pour extraire des données et les insérer dans la table de jeux d’importation à l’aide du paramètre d’entrée import_set_table . Par exemple, vous pouvez entrer un script pour obtenir des données à partir d’une API REST ou d’une pièce jointe.

    Le script Data Loader charge les données. Vous pouvez également activer le chargement parallèle pour utiliser un script afin de partitionner les données en sections plus petites, puis les charger en parallèle. Le chargement parallèle peut permettre à vos intégrations de se terminer en moins de temps et d’avoir moins d’impact sur les autres tâches.
    Remarque :
    Avec le chargement parallèle, vous devez exécuter une importation simultanée et la méthode de partition pour l’importation doit être définie sur Taille personnalisée. Pour plus d'informations, reportez-vous à la section Planifier une importation de données.

    Script du chargeur de données

    Le script du chargeur de données comporte les paramètres d’entrée suivants.
    • import_set_table : table de jeu d’importation à laquelle il est fait référence dans l’enregistrement Source de données. Les données sont insérées dans cette table.
    • data_source : source de données référencée dans l’enregistrement Source de données.
    • import_log : journal qui enregistre des informations sur l’activité d’importation de données.
    • last_success_import_time : dernière exécution réussie de cette source de données.
    • partition_info : informations de partitionnement des données. Utilisé pour le chargement parallèle.
    Le paramètre import_set_table comporte les méthodes suivantes :
    • addColumn(étiquette, maxLength) : ajoute une colonne de type chaîne à la table de jeux d’importation.
    • addJSONColumn(étiquette, maxLength) : ajoute une colonne de type JSON à la table de jeu d’importation.
    • addXMLColumn(étiquette, maxLength) : ajoute une colonne de type XML à la table de jeu d’importation.
    • insert(rowData) : insère une carte (clé = nom de colonne, valeur = valeur de colonne) dans la table de jeu d’importation.
    • getMaximumRows() : renvoie 20 lorsque vous sélectionnez Tester le chargement de 20 enregistrements. Dans tous les autres cas, renvoie -1.

    Exemple de chargeur de données

    Exemple du chargeur de données montrant un script qui insère des données dans la table de jeu d’importation.

    Script de chargement parallèle

    Le script de chargement parallèle comporte les paramètres d’entrée suivants.
    • parallel_job_loader : table Tâches parallèles [sys_parallel_job].
    • data_source : source de données référencée dans l’enregistrement Source de données.
    • import_log : journal qui enregistre des informations sur l’activité d’importation de données.

    Le paramètre parallel_job_loader a la méthode add(partitionInfo), qui ajoute les informations de partition à la table Parallel Jobs [sys_parallel_job].

    Exemple de chargement parallèle

    Exemple de script de chargement parallèle.

    Propriétés et statut du chargement parallèle

    Si une tâche reste bloquée à l’état En cours d’exécution pendant plus de 600 minutes, elle est automatiquement remise à l’état En attente . Vous pouvez modifier la durée pendant laquelle une tâche parallèle est autorisée à être bloquée à l’état En cours d’exécution avec la com.glide.system_parallel_job_inactive_time_minutes propriété.

    Si une tâche parallèle ne peut pas être terminée après deux essais, la tâche est définie sur Erreur. Vous pouvez modifier le nombre de tentatives avant d’avoir un état d’erreur avec la com.glide.system_parallel_job_max_retry_count propriété. La com.glide.system_parallel_job_auto_retry propriété peut être définie sur faux pour désactiver la nouvelle tentative automatique.

    Vous pouvez vérifier l’état de vos tâches d’importation parallèle actuelles en accédant à Tout > Ensembles de données à importations système > Avancés > Ensembles de données à importer, en sélectionnant votre tâche et en affichant l’onglet Tâches parallèles.

    Saisie semi-automatique du script

    Au fur et à mesure que vous tapez le script, la saisie semi-automatique du script affiche les options disponibles, comme illustré dans cet exemple.

    Saisie semi-automatique du chargeur de données