Hub d'intégration -Importation
Automatisez les tâches d’importation de données via une interface consolidée qui fournit une expérience guidée, étape par étape. Définissez des sources de données externes, spécifiez des tables cibles, représentez la façon dont les données sources deviennent des données cibles et planifiez des importations régulières.
La gestion des importations simplifie Hub d'intégration le processus d’importation de données provenant de sources externes et de transformation de celles-ci en ServiceNow tables. Vous pouvez configurer, exécuter et planifier vos importations de données via une interface unique.
Vous pouvez accéder Hub d'intégration à l’importation directe App Engine Studio pour créer des intégrations de données pour vos applications personnalisées. Pour plus d’informations, consultez Ajout de données dans App Engine Studio.
Avantages
- Regroupe plusieurs fonctionnalités d’intégration de données dans un seul environnement, éliminant ainsi la nécessité de créer et de gérer plusieurs formulaires sur l’ensemble de la plateforme.
- Vous permet de gérer plusieurs intégrations via une interface unique.
- Vous guide dans la configuration des sources de données et des tables cibles.
- Vous permet de mapper et de transformer des données à partir d’une interface simplifiée unique.
- Vous permet de planifier des importations de données ou d’importer manuellement des données sur demande.
- Fournit des informations d’utilisation sur l’exécution des importations de données et des détails sur les lignes, les mises à jour et les erreurs importées.
Vue d’ensemble du processus d’importation
L’importation de données se fait en trois étapes.
- 1. Configurez une source de données.
- La source de données spécifie comment et où obtenir les données à importer. Dans Hub d'intégration, la source de données utilise un fichier Excel, un fichier CSV ou une action de flux de données pour obtenir des données d’une source externe. Une action de flux de données envoie une demande REST, SOAP ou JDBC à une API et renvoie un flux de données.
- 2. Mappez les données aux tables cibles.
- Les tables cibles sont les tables vers lesquelles vous souhaitez transformer les données. Une fois que vous avez sélectionné les tables cibles, vous pouvez spécifier la manière dont les données sources doivent être transformées en elles. La création d’une carte de données décrit comment transformer les données. Les données ne sont pas transformées tant que vous n’avez pas exécuté l’importation.
- 3. Exécutez ou planifiez l’importation.
- Une fois que vous avez configuré la source de données et déterminé le mappage des données, vous pouvez exécuter l’importation. Vous pouvez également planifier l’importation pour qu’elle s’exécute ultérieurement. Lorsque l’importation s’exécute, les données sont collectées à partir de la source, déplacées vers une table intermédiaire et transformées en tables cibles en fonction des spécifications de votre mappage.
Pour plus d’informations sur le fonctionnement de l’importation de données, reportez-vous à la rubrique Jeux d’importation.
Hub d'intégration Environnement d’importation
L’environnement Hub d'intégration d’importation comprend les interfaces suivantes.
- Page de destination
- Configuration source
- Mapper à la cible
- Importations des Calendriers
- Détails de l'exécution
Les sections suivantes expliquent chaque interface plus en détail.
Page de destination
Créez des intégrations et accédez-y via la page de destination.
- 1. Liste des intégrations
- Les intégrations créées via l’interface d’importation Hub d'intégration sont accessibles ici.
- 2. Créer un bouton d’intégration
- Bouton permettant de commencer la création d’une nouvelle intégration.
Configuration source
Définissez une source de données pour une importation via la page de configuration source. La source de données doit être un fichier Excel, un fichier CSV ou une action de flux de données.
- 1. Sélecteur de type de source
- Menu permettant de sélectionner le type de source de données. Il comporte les sections suivantes.
- AD-HOC : sélectionnez un fichier Excel ou CSV comme source de données.
- SPOKES : sélectionnez une action de flux de données comme source de données. Affiche les flux de données actifs organisés par spoke et classés par ordre alphabétique.
- 2. Section Téléchargement de fichiers ou Connexion (la section Connexion n’est pas affichée)
Si la source de données est un fichier Excel ou CSV, la section Téléchargement de fichiers s’affiche ici. Vous pouvez faire glisser un fichier ou le parcourir pour le charger. Accepte les fichiers XLSX, XLS, CSV et ZIP.
Si la source de données est une action de flux de données, la section Connexion s’affiche ici. Pour les actions de flux de données qui utilisent un alias de connexion, vous pouvez remplacer l’alias de connexion par défaut par l’un de ses alias enfants. Sélectionnez l’alias de connexion dans le menu. Pour plus d’informations, consultez Créer un alias de connexion et d’informations d’identification.
- 3. Section de configuration
- Section permettant de configurer la source de données sélectionnée. Les champs disponibles dépendent du type de source de données que vous utilisez.
- Pour un fichier Excel, vous pouvez sélectionner la feuille et spécifier le numéro de ligne à utiliser pour l’en-tête.
- Pour un fichier CSV, sélectionnez le délimiteur.
- Pour une action de flux de données, saisissez les entrées ici. Cette section s’affiche uniquement si l’action Flux de données comporte des entrées. Les actions de flux de données avec des entrées ont des entrées uniques, de sorte que les champs qui apparaissent ici dépendent de l’action de flux de données sélectionnée et de sa configuration. Toutes les valeurs par défaut déjà configurées par les entrées de spoke sont pré-remplies.
- 4. Aperçu de la structure des données sources
- Section qui affiche la structure des données sources. Pour un fichier Excel ou CSV, l’aperçu affiche les en-têtes de colonne. Pour une action de flux de données, il affiche la sortie de l’objet complexe.
- 5. Bouton Propriétés
- Bouton permettant d’afficher le nom de l’intégration, sa description et le périmètre de l’application. Vous pouvez modifier le nom et la description à tout moment. Le périmètre de l’application ne peut pas être modifié et doit être sélectionné lors de la création de l’intégration.
- 6. Bouton Enregistrer
- Bouton permettant d’enregistrer la configuration source. Ce bouton n’est activé que lorsque la configuration source est mise à jour. Lorsque vous sélectionnez un type de source, la structure des données source est automatiquement chargée dans la fenêtre d’aperçu de la structure de données source. Si vous modifiez la configuration source, cliquez sur Enregistrer pour recharger les données source. Les données doivent être prévisualisées au moins une fois avant de pouvoir les mapper à une table cible.
Mapper à la cible
Sélectionnez les tables cibles et déterminez comment les données sources y sont mappées. Mappez les données en faisant glisser les pastilles de données de la source vers la cible, en utilisant le sélecteur de pastilles ou en sélectionnant Mappage automatique. Transformez les données dans les tables cibles en appliquant des fonctions de transformation.
La section Mapper vers la cible comporte deux parties. Dans la première partie, sélectionnez les tables cibles. Dans la deuxième partie, mappez les données aux tables cibles.
La section de sélection de table comporte les éléments suivants :
- 1. Ajouter une table
- Bouton permettant d’ajouter des tables cibles.
- 2. Paramètres de transformation
Bouton permettant de configurer les paramètres de transformation de votre intégration. Vous pouvez spécifier la taille du lot et la gestion des champs vides, activer le mode détaillé ou exécuter un script avant ou après l’intégration. Pour plus d'informations, consultez Paramètres de transformation.
Le bouton Paramètres de transformation n’apparaît pas tant que vous n’avez pas ajouté au moins une table cible.
- 3. Cartes de table cible
- Chaque carte contient le nom de la table cible, les détails de sa création et indique si elle a été mappée. Sélectionnez la carte pour ouvrir l’interface de mappage des données.
- 4. Liste déroulante Table cible
- Liste des options pour la table cible. Comprend les éléments suivants.
- Propriétés : ouvre la fenêtre Propriétés de mappage dans laquelle vous pouvez afficher ou modifier les options permettant d’exécuter les règles métier de la table lors de l’importation et d’exécuter l’importation de manière synchrone.
- Modifier le mappage : ouvre la section de mappage de données dans laquelle vous pouvez créer ou modifier votre mappage de données.
- Configuration de table : s’ouvre Créateur de tables dans laquelle vous pouvez configurer la table cible. Cette option n’est disponible que si vous l’avez Créateur de tables installée. Pour plus d'informations, consultez Table Builder.
- Revalider : vérifie si des changements ont été apportés au schéma de l’entité cible. Si des changements sont détectés, la carte de table cible affiche un message indiquant que le schéma cible a changé. La sélection de la carte de table cible ouvre une fenêtre dans laquelle vous pouvez mettre à jour le schéma d’entité cible ou annuler pour conserver le schéma inchangé. Validez à nouveau votre table chaque fois que vous modifiez la configuration de la table cible.
- Supprimer : supprime la table cible de l’intégration.
La section de mappage des données comporte ces composants.
- 1. Nom de la table cible
- Nom de la table cible vers laquelle vous effectuez actuellement le mappage.
- 2. Section des données sources
- Section qui affiche les données sources sous forme de pastilles de données. Pour mapper les données, faites glisser les pastilles de données vers la section de données de la table cible. Vous pouvez également utiliser le sélecteur de pilules. Après avoir mappé un champ source à un champ cible, une petite icône de coche (
) apparaît en regard du nom du champ source. Si vous déplacez votre curseur sur la coche, l’info-bulle répertorie les champs cibles auxquels le champ source a été mappé, jusqu’à cinq champs.
- 3. Section des données de la table cible
- Section qui affiche la façon dont les données sources sont mappées à chaque champ de la table cible sélectionnée. Vous pouvez afficher tous les champs de la table cible ou sélectionner des champs individuels à l’aide du bouton Ajouter un champ . Pour les champs de choix et de référence, vous pouvez spécifier la colonne à laquelle mapper les données ou utiliser la colonne d’affichage par défaut.
- 4. Interrupteur à bascule Match
- Commutateur pour spécifier les champs dans lesquels le système doit vérifier les données correspondantes et, le cas échéant, mettre à jour les enregistrements existants au lieu d’en créer de nouveaux. Dans cette image, l’option Correspondance est activée pour le champ d’ID d’utilisateur . Si un enregistrement des données sources possède un ID utilisateur qui correspond à l’ID utilisateur d’un enregistrement de la table cible, le système met à jour l’enregistrement existant dans la table cible au lieu d’en créer un nouveau.
- 5. Bouton Propriétés de mappage
- Bouton permettant d’afficher ou de modifier les options permettant d’exécuter les règles métier de la table lors de l’importation et d’exécuter l’importation de manière synchrone.
- 6. Bouton de mappage automatique
- Bouton permettant de mapper automatiquement les entités sources aux entités cibles portant le même nom.
- 7. Sélecteur de pilules de données
- Bouton pour ouvrir le sélecteur de pastilles de données. Vous pouvez utiliser le sélecteur de pastilles pour mapper les pastilles de données sources aux valeurs de champ de la table cible.
- 8. Icône de fonction de transformation
- Bouton permettant d’ouvrir la liste des fonctions de transformation disponibles. Utilisez les fonctions de transformation pour changer ou modifier vos données. Par exemple, la fonction de transformation Trim supprime l’espace du début et de la fin d’une chaîne d’entrée.
Importations des Calendriers
Exécutez une importation immédiatement ou planifiez-la pour qu’elle s’exécute à une heure spécifique, à intervalles réguliers ou après une importation parente. Planifiez l’exécution simultanée d’importations volumineuses afin de réduire le temps de traitement.
La section des importations de calendrier comporte les éléments suivants :
- 1. Importations planifiées
- Liste des calendriers d’importation. Chaque calendrier d’importation apparaît dans son propre bouton.
- 2. Programmer un bouton d’importation
- Bouton pour créer un calendrier d’importation.
- 3. Section Exécutions
- Section contenant des informations sur les importations exécutées. Comprend des liens vers des enregistrements d’exécution, des enregistrements de contexte d’exécution et des enregistrements d’importation planifiée. Cette section n’apparaît qu’après l’exécution d’une importation.
- 4. Procès-verbaux d’exécution
- Liste des enregistrements d’exécution. Chaque enregistrement d’exécution fournit des informations sur une exécution, y compris les lignes importées, les erreurs et les messages du journal.
- 5. Enregistrements du contexte d’exécution
- Liste des enregistrements de contexte d’exécution. Chaque enregistrement de contexte d’exécution indique la prochaine importation planifiée à utiliser lors du traitement d’une importation planifiée hiérarchique.
- 6. Enregistrements d’importation planifiée
- Liste des enregistrements d’importation planifiée. Chaque enregistrement fournit le nom, la source de données, le calendrier et la méthode de partition pour l’importation planifiée.
- 7. Exécuter le bouton d’importation
- Bouton permettant d’exécuter l’importation une seule fois.
Détails de l'exécution
Affichez les détails de chaque importation, tels que l’heure et la date d’exécution, et le contexte d’exécution. Ouvrez les enregistrements d’exécution de l’importation pour afficher l’état de l’importation et les lignes, erreurs et journaux importés.
La section des détails d’exécution comporte les éléments suivants :
- 1. Informations sur l’exécution
- Section fournissant des détails sur l’exécution, y compris le numéro de l’enregistrement d’exécution, le nom de l’importation planifiée, le numéro du jeu d’importation et la date de sa mise à jour.
- 2. Détails de l’exécution
Section avec des cartes affichant le nombre total de lignes importées, traitées, en attente ou ignorées, ainsi que le nombre d’erreurs qui se sont produites. Si l’importation est traitée simultanément, cette section inclut également une carte Partitions. Pour plus d’informations, reportez-vous à la section Importations simultanées.
Vous pouvez cliquer sur les cartes pour filtrer les résultats. Les résultats filtrés s’affichent dans l’onglet Lignes du jeu d’importation en bas de la page. Par exemple, si vous cliquez sur la carte En attente , les lignes en attente s’affichent. Si vous cliquez sur Total des lignes importées ou Effacer la sélection , les filtres sont effacés.Remarque :Le filtrage de carte n’est disponible que pour les lignes de jeux d’importation. Pour afficher la liste filtrée, assurez-vous que vous êtes dans l’onglet Lignes de jeux d’importation.- 3. Carte de partitions
- Vue graphique des partitions de jeux d’importation. La carte des partitions n’apparaît que pour les jeux d’importation simultanés. Vous pouvez cliquer sur une partition pour en afficher les détails. Vous pouvez également utiliser les cartes Détails de l’exécution pour un filtrage supplémentaire. Lorsque vous combinez le filtre de partition avec les filtres de carte, le système utilise une opération ET pour le filtrage. Par exemple, si vous cliquez sur une partition, puis sur la carte Erreurs, l’onglet Lignes de jeu d’importation affiche uniquement les erreurs de cette partition.
- 4. Vue de liste des partitions
- Option permettant d’afficher les détails de chaque partition, y compris le numéro du jeu d’importation, ainsi que le type et l’état de chaque tâche de jeu d’importation. La vue de liste des partitions ne s’affiche que pour les jeux d’importation simultanés. La vue de liste des partitions offre les mêmes options de filtrage que la carte Partitions, vous pouvez donc utiliser l’un ou l’autre pour filtrer une partition.
- 5. Importer les détails
- Section détaillant les lignes de jeux d’importation, les demandes HTTP sortantes, l’historique des exécutions d’actions, les journaux d’importation et les erreurs pour chaque enregistrement d’exécution.
Hub d'intégration termes d’importation
- Source de données
- Une source de données est un enregistrement de configuration qui définit le type de données à importer et le point de terminaison où votre instance peut les obtenir.
- Action de flux de données
- Une action de flux de données est une action qui envoie des demandes REST, SOAP ou JDBC depuis les Studio de workflow API vers les API et renvoie un flux de données de réponse. Utilisez les actions de flux de données pour récupérer des données de plus de 10 Mo ou lorsque vous travaillez avec des API qui renvoient des résultats paginés.
- Table cible
- Une table cible correspond à la table vers laquelle vous souhaitez transformer vos données source.
- Fonction de transformation
- Une fonction de transformation est une fonction qui change ou modifie vos données. Par exemple, une fonction qui transforme une chaîne d’entrée en caractères tout en majuscules.
- Exécution
- Une exécution est un enregistrement d’exécution qui contient les détails d’exécution pour une importation unique. Chaque exécution fournit des détails d’importation pour une cible spécifique, y compris les lignes importées, les messages de journal et les erreurs.
- Contexte d'exécution
- Un contexte d’exécution est un enregistrement qui spécifie la prochaine importation planifiée à utiliser lors du traitement d’une importation planifiée hiérarchique.
- Jeu d'importation
- Un jeu d’importation est un ensemble d’enregistrements d’exécution qui contiennent des données brutes importées à partir d’une source de données. Le système stocke les enregistrements importés dans une table intermédiaire de jeu d’importation.
Considérations relatives à la conception
Suivez ces lignes directrices pour profiter des avantages offerts par Hub d'intégration les importations.
- Créer toutes les Hub d'intégration importations à partir de l’intérieur Hub d'intégration
- Seules les intégrations créées dans l’environnement d’importation Hub d'intégration y sont accessibles. Par exemple, vous ne pouvez pas configurer une source de données et un mappage via des formulaires de plateforme, mais planifier l’importation à partir de .Hub d'intégration Seules les intégrations créées dans Hub d'intégration s’affichent sur la page de destination.
- Ne modifiez pas les enregistrements de configuration en dehors de Hub d'intégration
- La modification directe des enregistrements de configuration peut changer si et comment les données sont importées et mappées. Si vous devez modifier la configuration de la source de données, du mappage ou du calendrier d’importation, faites-le à partir de l’interface d’importation Hub d'intégration .
- Éviter de modifier les actions de flux de données utilisées dans les sources de données
- La modification des actions de flux de données utilisées comme sources de données peut changer le mappage de la source à la cible. Lorsque la sortie d’une action de flux de données change, la page Mapper vers la cible affiche un avertissement indiquant que le schéma d’objet complexe a changé. Vous devrez peut-être reconfigurer le mappage.