Propriétés des ensembles de données à importer
Plusieurs propriétés contrôlent le comportement des ensembles de données à importer.
Propriétés des ensembles de données à importer
- glide.import_set.preserve.leading.spaces
- Spécifie si le processus d’importation conserve les espaces de début dans les cellules de données Excel. Si la valeur est définie sur false, le processus d’importation supprime les espaces de début insécables des cellules de données Excel. Lorsque la valeur est vrai, le processus d’importation conserve les espaces de début insécables. Remarque :Le processus d’importation supprime toujours les espaces de fin des cellules de données Excel.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Add a system property
- glide.import_set_row.dynamically_add_fields
- Spécifie si un jeu d’importation peut ajouter de nouvelles colonnes à la table intermédiaire (vrai) ou non (faux). Les instances qui contiennent un grand nombre de jeux d’importation peuvent parfois cesser de répondre lorsqu’une importation ajoute une colonne, car l’instance doit modifier chaque ligne de la table intermédiaire. Dans certains cas, l’action de modification de la table de base de données provoque une panne. Définir cette propriété sur faux empêche un jeu d’importation d’ajouter des colonnes à la table intermédiaire et génère un message de journal. Pour contourner ce problème, les administrateurs peuvent ajouter manuellement une colonne à la table intermédiaire en créant une nouvelle entrée de dictionnaire, puis en réimportant le jeu d’importation.
- Type : true | false
- Valeur par défaut : true
- Emplacement : Ajouter une propriété système
- com.glide.loader.verify_target_field_size
- Active le redimensionnement dynamique des champs de jeu d’importation. Avec la valeur par défaut définie sur faux, jusqu’à 20 enregistrements des données sources sont échantillonnés pour déterminer la longueur du champ de l’ensemble de données à importer. Si le champ est vide dans tous les enregistrements échantillonnés, la longueur par défaut de 40 est utilisée. Toute donnée chargée qui dépasse la longueur du champ de la table de jeux d’importation est tronquée. Définissez cette propriété sur vrai pour permettre à n’importe quel champ de jeu d’importation d’augmenter la taille de colonne de 100 pour correspondre à la longueur des données. Par exemple, si les données sources entrantes ont une longueur de 60, le système définit la longueur de la colonne sur 160. Ceci est pertinent uniquement pour la source de données.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- glide.ds.file.http.variable_replacement
- Active l’extension des propriétés système pour les sources de données de type Fichier qui sont récupérées à l’aide de HTTP ou HTTPS.
- Type : true | false
- Valeur par défaut : true
- Emplacement : Ajouter une propriété système
- Plus d’informations : Champs de sources de données
- glide.scheduled_import.stop_on_error
- Définissez la valeur sur vrai pour arrêter le processus d’importation lorsque l’importation planifiée parente génère une erreur. Ce comportement peut être utile lorsqu’un jeu d’importation dépend des résultats d’un autre jeu d’importation.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- glide.impex.transformer.empty_value_nil
- Contrôle la façon dont les valeurs de chaîne vides sont gérées lors de la transformation à partir d’une table intermédiaire de jeu d’importation. Définissez cette propriété sur vrai pour préserver les chaînes vides. Attribuez la valeur false à cette propriété pour convertir les chaînes vides en chaîne NULL. Remarque :Vous pouvez utiliser cette propriété lorsque vous exécutez un script onBefore pendant la transformation. Définir cette propriété sur true vous permet de vérifier les valeurs nulles à l’aide des fonctions hasValue() ou nil().Une chaîne vide est toujours stockée en tant que valeur nulle dans la base de données, quelle que soit cette valeur de propriété.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- com.glide.loader.max_ligne_analyse
- Contrôle le nombre de lignes de données sources échantillonnées pour générer automatiquement des champs de table intermédiaire lorsque vous importez des données. Cette propriété s’applique aux importations JDBC, XLS, CSV et XML, mais pas aux importations JSON et XSLX.
- Type : nombre entier
- Valeur par défaut : 20
- Emplacement : Ajouter une propriété système
Propriétés des jeux concurrents d’importation
- glide.scheduled_import.max.ensembles_importation.concurrents
- Nombre maximal d’ensembles de données à importer pour une importation simultanée.
- Type : entier
- Valeur par défaut : 10
- Emplacement : Ajouter une propriété système
- com.glide.concurrent_import_set_insert_mutex_spin_wait
- Temps d’attente que mutex dépense si le verrou est acquis (en millisecondes).
- Type : entier
- Valeur par défaut : 1 000
- Emplacement : Ajouter une propriété système
- com.glide.concurrent_import_set_insert_mutex_expiration
- Délai d’expiration Mutex (en millisecondes)
- Type : entier
- Valeur par défaut : 300 000
- Emplacement : Ajouter une propriété système
- com.glide.concurrent_import_set_mutex_fast_lock
- Spécifie s’il faut utiliser le verrou rapide (vrai) ou le verrou lent basé sur SQL (faux).
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
Propriétés des ensembles de données à importer du service Web
- com.glide.ws_import_set.redimension_colonne
- Si vrai, active le redimensionnement dynamique des colonnes dans les tables intermédiaires d’importation pour les ensembles de données à importer de services Web.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- com.glide.ws_import_set.column_resize.max_nombre_lignes
- Nombre maximal de lignes qu’une table intermédiaire d’importation peut avoir pour le redimensionnement dynamique des colonnes avec des ensembles d’importation de services Web.
Les tables intermédiaires d’importation avec un nombre de lignes supérieur à ce nombre n’utiliseront pas le redimensionnement dynamique avec les ensembles de données à importer de services Web, même si com.glide.ws_import_set.column_resize la valeur est vrai.
Cette propriété a une valeur maximale de 500 000.- Type : entier
- Valeur par défaut : 100 000
- Emplacement : Ajouter une propriété système
Propriétés CSV
- com.glide.csv.chargeur.ignore_non_parseable_lines
- Permet à une instance d’ignorer une ou plusieurs lignes (lignes) qui contiennent des données incorrectes dans une importation CSV, telles qu’une ligne à laquelle il manque une colonne de données. Par défaut, les importations ne peuvent pas ignorer les données incorrectes dans les fichiers CSV et échouer à la première erreur.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- com.glide.csv.loader.max_errors_allowed
- Spécifie le nombre maximal de lignes (lignes) qu’une importation peut ignorer avant d’échouer. Si l’importation réussit, l’importation répertorie le nombre de lignes que l’importation a ignorées en raison d’erreurs.
- Type : nombre entier
- Valeur par défaut : 100
- Emplacement : Ajouter une propriété système
- glide.import.csv.jeu de caractères
- Jeu de caractères du fichier CSV à importer. Les valeurs valides sont UTF-8 et WINDOWS-1252. Vous devrez peut-être utiliser le formatage UTF-8 lors de l’importation de caractères spéciaux.
- Type : chaîne
- Valeur par défaut : WINDOWS-1252
- Emplacement : Ajouter une propriété système
Propriétés d’importation Excel
- glide.excel.multiplicateur
- La quantité maximale de mémoire d’instance à allouer à une importation Excel. Cette propriété s’applique uniquement lors de l’importation de fichiers .XLS.
La valeur de cette propriété est multipliée par la taille du fichier Excel pour déterminer l’allocation totale de mémoire. La mémoire utilisée ne peut pas dépasser la limite spécifiée par la glide.excel.max_memory_percent propriété.
Par exemple, avec la valeur par défaut 8 et un fichier Excel de 10 Mo, l’instance utilisera jusqu’à 80 Mo de mémoire pour l’importation.
- Type : nombre entier
- Valeur par défaut : 8
- Emplacement : Ajouter une propriété système
- glide.xlsx.multiplicateur
- La quantité maximale de mémoire d’instance à allouer à une importation Excel. Cette propriété s’applique lors de l’importation . Fichiers XLSX uniquement.
La valeur de cette propriété est multipliée par la taille du fichier Excel pour déterminer l’allocation totale de mémoire. La mémoire utilisée ne peut pas dépasser la limite spécifiée par la glide.excel.max_memory_percent propriété.
Par exemple, avec la valeur par défaut 10 et un fichier Excel de 10 Mo, l’instance utilisera jusqu’à 100 Mo de mémoire pour l’importation.
Remarque :Ne modifiez pas la valeur de cette propriété. La valeur par défaut a été sélectionnée pour des performances optimales.- Type : nombre entier
- Valeur par défaut : 10
- Emplacement : Ajouter une propriété système
- glide.excel.max_pour_mémoire_pourcent
- La quantité maximale de mémoire autorisée pour les importations Excel, en pourcentage de la mémoire totale de l’instance.
- Type : nombre entier
- Valeur par défaut : 10
- Emplacement : Ajouter une propriété système
- glide.excel.use_disk_backed_strings_table
- Contrôle si l’instance utilise le stockage sur disque pour conserver les données de fichiers volumineux pendant l’importation XLSX. Définissez cette propriété sur false pour stocker les données des fichiers XLSX uniquement en mémoire. Définir cette propriété sur faux augmente la mémoire utilisée pendant l’importation XLSX.
- Type : true | false
- Valeur par défaut : true
- Emplacement : Ajouter une propriété système
- glide.excel.in_memory_strings_table_size_mb
- Quantité maximale de mémoire, en mégaoctets, disponible pour stocker les données de fichier XLSX avant l’écriture sur le stockage sur disque lorsque glide.excel.use_disk_backed_strings_table est vrai. La définition d’une valeur inférieure pour cette propriété utilise moins de mémoire lors de l’importation XLSX, mais peut ralentir les importations.
- Type : nombre entier
- Valeur par défaut : 5
- Emplacement : Ajouter une propriété système
- glide.xlsx.import.debug
- Active la journalisation de débogage pour les importations XLSX.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- glide.import.excel.enhanced_number_conversions
- Lorsque la valeur est vrai, les valeurs numériques supérieures à 10 millions sont conservées dans les tables intermédiaires d’importation. Si la valeur est fausse, les valeurs importées supérieures à 10 millions sont converties en notation scientifique qui peut ne pas correspondre à la valeur importée initiale. Cette propriété doit être définie sur vrai pour importer la plupart des types de données.
- Type : true | false
- Valeur par défaut : true
- Emplacement : Ajouter une propriété système
- glide.transform.boolean.casesensitive
- Si la valeur est vrai, les valeurs booléennes en majuscules (TRUE/FALSE) se transforment toujours en faux. Lorsque la valeur est false, les valeurs booléennes en majuscules (TRUE/FALSE) sont transformées correctement.
- Type : true | false
- Valeur par défaut : true
- Emplacement : Ajouter une propriété système
Propriétés de la connexion JDBC
- glide.jdbcprobeloader.retry
- Nombre de fois qu’un chargeur de sonde JDBC tente de traiter des données renvoyées par une source de données JDBC. Veille sur la valeur définie entre glide.jdbcprobeloader.retry_millis les nouvelles tentatives.
- Type : nombre entier
- Valeur par défaut : 60
- Emplacement : Ajouter une propriété système
- glide.jdbcprobeloader.retry_millis
- Durée en millisecondes pendant laquelle un chargeur de sonde JDBC attend entre deux nouvelles tentatives de traitement des données à partir d’une source de données JDBC.
- Type : nombre entier
- Valeur par défaut : 5000
- Emplacement : Ajouter une propriété système
Propriétés de connexion et de débogage
- com.glide.import_set.importlog_level
- Spécifie la quantité d’informations que les ensembles de données à importer ajoutent au journal. Les valeurs possibles sont INFO, WARNING et ERROR. Vous pouvez le définir sur INFO dans l’environnement de développement et le changer sur WARNING ou ERROR en production pour réduire la quantité de trafic de bruit de connexion vers la base de données.Remarque :Cette propriété n’a pas d’impact sur la journalisation liée au nettoyage des tables intermédiaires.
- Type : chaîne
- Valeur par défaut : INFO
- Emplacement : Ajouter une propriété système
- glide.import.debug
- Active la journalisation de débogage pour tous les processus d’importation.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété systèmeAjouter à la table Propriétés système [sys_properties]
- glide.importlog.log_à_table
- Indique s’il faut écrire des messages de journal au niveau des informations dans la table import_log. Si la valeur est true, les messages du journal au niveau des informations sont écrits.Remarque :Les journaux au niveau des informations pour Centre d’intégration ETL sont écrits dans la table importlog.log, quel que soit ce paramètre de propriété. Pour que des exceptions supplémentaires soient ajoutées, contactez Now Support.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- glide.import.sftp.debug
- Active la journalisation de débogage supplémentaire pour les importations SFTP. L’activation de cette propriété entraînera la journalisation de tous les messages sortants et entrants pendant la session SSH.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système
- glide.import.scp.debug
- Active la journalisation de débogage supplémentaire pour les importations SCP. L’activation de cette propriété entraînera la journalisation de tous les messages sortants et entrants pendant la session SSH.
- Type : true | false
- Valeur par défaut : faux
- Emplacement : Ajouter une propriété système