Moteur Identification et réconciliation (IRE)

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 11 minutes de lecture
  • L’IRE est un composant clé sous-jacent de l’identification et de la réconciliation, fournissant un cadre centralisé pour effectuer des processus d’identification et de réconciliation sur différentes sources de données. IRE utilise des règles d’identification, des règles de rapprochement et des règles de source de données IRE lors du traitement des données entrantes avant l’insertion de ces données dans la CMDB.

    Les processus IRE contribuent au maintien de l’intégrité des données dans la CMDB.
    • IRE empêche les CI en double en identifiant les CI de façon unique.
    • IRE réconcilie les attributs de CI en autorisant uniquement les sources de données de référence à écrire dans CMDB.
    ServiceNow® des applications telles que Mappage des servicesla détection horizontale et la détection de modèles utilisent des API pour appliquer des processus d’identification et de rapprochement. Vous pouvez également appliquer des processus IRE aux données importées par jeux d’importation. Lorsque vous utilisez d’autres sources de données, y compris des sources de données tierces, vous pouvez utiliser des API IRE REST ou scriptables pour procéder à l’identification et à la réconciliation.
    Informations supplémentaires :

    Identification du CI

    Le processus d’identification CMDB s’appuie sur des règles d’identification pour identifier de façon unique les CI. Dans la mesure du possible, les CI peuvent également être identifiés de façon unique à l’aide source_namesource_native_key des valeurs fournies dans la sys_object_source_info section de la charge utile et dans la table Source [sys_object_source]. Si l’identification est réussie à l’aide de cette méthode, il n’est pas nécessaire d’appliquer des algorithmes de correspondance qui reposent sur des règles d’identification, qui est une méthode d’identification plus lente.

    Un identificateur CI unique peut être fourni dans l’objet facultatif sys_object_source_info de la charge utile IRE.
    {
      "items": [
        {
          "className": "cmdb_ci_win_server",
          "values": {
            "name": "SAMLABVM52"
          },
          "sys_object_source_info": {
                "source_native_key": "16777219",
                "source_name": "SCCM",
                "source_feed": "SCCM Computer Identity",
                "source_recency_timestamp": "2019-08-26 13:00:00"
          }
         }
        ]
      }

    Identification des éléments de la charge utile

    IRE génère des clés d’identificateur pour tous les éléments de charge utile d’une charge utile entrante, puis utilise ces clés lors de la tentative de correspondance des charges utiles partielles et entrantes. Une clé d’identificateur est basée sur :
    • Combinaison des valeurs et de l’objet source_namesys_object_source_info.source_native_key
    • Attributs de critères d’identification.
    IRE stocke les clés d’identificateur associées aux éléments partiels dans la table Index des charges utiles partielles [cmdb_ire_partial_payloads_index] IRE de CMDB, puis utilise ces clés pour essayer de mettre en correspondance avec les clés d’identificateur des charges utiles entrantes.

    Horodatages dans les attributs clés

    Pour aider à résoudre les valeurs d’attribut conflictuelles, IRE utilise des horodatages dans les attributs suivants pour identifier les enregistrements qui sont plus anciens que l’enregistrement actuel et qui peuvent donc être ignorés :
    • Dernière détection (last_discovered) et Source de détection (discovery_source) :

      La détection la plus récente (last_discovered) est l’horodatage de la dernière détection du CI. IRE met toujours à jour les CI et discovery_source les attributs pendant le traitement de la charge utile, même lorsqu’aucun autre attribut de CI n’est last_discovered mis à jour. Lorsqu’il last_discovered est fourni dans la charge utile, IRE met à jour le CI avec la valeur fournie uniquement si l’heure last_discovered dans la charge utile est plus récente que celle de la CMDB. S’il last_discovered n’est pas fourni dans la charge utile, IRE met à jour l’attribut avec l’horodatage last_discovered actuel.

      Vous pouvez utiliser les propriétés système glide.identification_engine.skip_updating_source_last_discovered_if_older et glide.identification_engine.ire_message_listener_skip_updating_source_last_discovered_to_now pour modifier ce comportement par défaut.

    • Première détection (first_discovered) est l’horodatage de la création du CI.

      • Lorsque le CI est créé pour la première fois : si une valeur est fournie dans la charge utile, IRE insère cette valeur. Dans le cas contraire, IRE insère l’horodatage actuel.
      • Dans les mises à jour suivantes : Si une valeur est fournie, IRE met à jour le CI avec la valeur fournie. Sinon, l’attribut n’est pas mis à jour.
    Vous pouvez également utiliser les propriétés système suivantes pour modifier la façon dont IRE utilise la valeur d’une source_recency_timestamp charge utile pour mettre à jour l’attribut last_scan dans la table Source [sys_object_source] :

    Fonctionnalités IRE améliorées

    Les API scriptables CreateOrUpdateCIEnhanced() et identifyCIEnhanced fournissent les fonctionnalités pour les fonctionnalités IRE améliorées suivantes, qui peuvent être activées ou désactivées selon les besoins :
    Charges utiles partielles

    IRE isole les éléments pour lesquels les sources de données n’ont pas fourni suffisamment d’informations pour identifier le CI de façon unique, de sorte que le traitement ne peut pas se poursuivre. Certains de ces éléments sont identifiés comme des éléments partiels, qui sont stockés en vue d’un traitement ultérieur potentiel. D’autres éléments sont identifiés comme des éléments incomplets, qui sont stockés uniquement à des fins de journalisation.

    Par exemple : SCCM comporte plusieurs flux, par exemple un flux sur disque et un flux pour ordinateur. Le flux de disque peut contenir des informations complètes sur le disque, mais pas suffisamment d’informations sur le CI de l’ordinateur dont il dépend.

    Option API : partial_payloads qui est activée par défaut. Quand partial_payloads est activé et deduplicate_payloads sont automatiquement activés, partial_commits quel que soit leur paramètre dans les options.

    Validations partielles

    Les erreurs dans certains éléments n’empêchent pas la validation du reste des éléments dans une charge utile. Par conséquent, lorsqu’une charge utile contient des éléments avec des erreurs, IRE valide toujours les éléments valides restants dans la charge utile. Dans ce cas, certains des éléments non validés sont enregistrés en tant que charges utiles partielles et d’autres éléments non validés sont enregistrés en tant que charges utiles incomplètes.

    Option API : partial_commits qui est activée par défaut.

    Dédupliquer les éléments de charge utile

    IRE déduplique les éléments en double dans la charge utile, en fusionnant ces doublons en un seul élément de charge utile pour le traitement.

    Option API : deduplicate_payloads qui est activée par défaut.

    Générer un résumé

    IRE génère des résumés dans la charge utile de sortie avec des détails de traitement tels que le nombre de mises à jour par classe.

    Option API : generate_summary qui est désactivée par défaut.

    Éléments partiels

    Un élément de charge utile est considéré comme partiel s’il contient les données nécessaires pour une identification unique et s’il présente l’une des erreurs suivantes. L’identification unique nécessite que l’élément de charge utile comporte la sys_object_source_info section avec source_name et source_native_key ou l’ensemble complet des attributs de critères d’identification spécifiés pour la classe CI, ou les deux.

    Erreurs IRE pour un élément partiel :
    • MISSING_MATCHING_ATTRIBUTES : l’élément n’a pas d’attributs de critère d’identification pour utiliser au moins une entrée d’identificateur pour la correspondance.
    • REQUIRED_ATTRIBUTE_EMPTY : impossible de créer un CI, car un attribut requis est manquant.
    • MISSING_DEPENDENCY : il manque au CI dépendant une relation de dépendance spécifiée dans la charge utile.
    • INSERT_NOT_ALLOWED_FOR_SOURCE : une règle de source de données IRE empêche les sources de données spécifiées de créer des CI de la classe spécifiée.

    Pour en savoir plus sur les messages d’erreur IRE, reportez-vous à la section Messages d’erreur IRE.

    Si le traitement échoue, car les éléments de la charge utile sont déterminés comme étant des éléments partiels, les éléments partiels sont enregistrés en tant que charges utiles partielles dans la table Charges utiles partielles IRE [cmdb_ire_partial_payloads] CMDB au format JSON pour un traitement potentiel ultérieur. IRE utilise des clés d’identificateur pour tenter de faire correspondre les charges utiles entrantes avec les charges utiles partielles stockées.

    Si, ultérieurement, une source de données envoie les données qui manquaient dans l’élément partiel, IRE fait correspondre la charge utile entrante avec les charges utiles partielles stockées. IRE fusionne ensuite toutes les charges utiles partielles correspondantes avec la charge utile entrante. Pour résoudre les attributs en conflit, IRE utilise soit source_recency_timestamp (quand source_native_key et source_name sont identiques), soit des règles de rapprochement statiques spécifiées pour la classe. Il en résulte une charge utile complète et valide qu’IRE traite ensuite pour créer ou mettre à jour les CI respectifs.

    Les charges utiles partielles de plus de 90 jours sont supprimées de la table Charges utiles partielles [cmdb_ire_partial_payloads] IRE CMDB.

    Exemple d’une charge utile partielle :
    Disk feed:
    {
      "items": [
        {
          "className": "cmdb_ci_computer",
          "sys_object_source_info": {
                "source_native_key": "Server001",
                "source_name": "SCCM",
                "source_feed": "DISK_FEED",
                "source_recency_timestamp": "2019-08-26 13:00:00"
          }
        },
        {
          "className": "cmdb_ci_disk",
          "values": {
            "name": "disk1"
          }
        }
      ],
      "relations": [{
                  "parent": 0,
                  "child": 1,
                  "type": "Contains::Contained by"}
                  ]
    }
    L’élément d’ordinateur dans la charge utile ci-dessus n’a pas d’attributs et IRE ne peut donc pas le traiter. Cependant, source_nameet source_native_key sont fournis, ce qui en fait un élément partiel. Étant donné que l’élément de l’ordinateur est partiel, l’élément de disque qui dépend de l’élément de l’ordinateur est également un élément partiel.
    Exemple d’une charge utile suivante qui complète la charge utile partielle précédente en fournissant les détails manquants :
    Server/Computer feed:
     {
      "items": [
        {
          "className": "cmdb_ci_linux_server",
          "values": { "name": 'linux001',
                    "ip_address": "100.126.38.19",
                    "mac_address": "DSWER4587" },
          "sys_object_source_info": {
                "source_native_key": "Server001",
                "source_name": "SCCM",
                "source_feed": "COMPUTER_IDENTITY",
                "source_recency_timestamp": "2019-08-26 14:00:00"
          }
        }
      ]
    }
    L’ordinateur de la charge utile partielle et le serveur de la nouvelle charge utile correspondent, car ils ont des données identiques source_name et source_native_key. Par conséquent, la charge utile partielle et la nouvelle charge utile sont fusionnées, l’opération est validée et la charge utile partielle est supprimée de la table Charges utiles partielles.

    Il existe une limite au nombre d’éléments par charge utile partielle, qui est définie par la propriété glide.identification_engine.partial_payload_items_max_size (1 000 par défaut). Le stockage des relations, des références et des éléments dépendants associés dans une charge utile partielle peut entraîner l’atteinte de cette limite, auquel cas la charge utile est divisée en plusieurs charges utiles partielles.

    Pour plus d’informations sur les charges utiles partielles, consultez CreateOrUpdateCIEnhanced().

    Éléments incomplets

    Un élément de charge utile est considéré comme un élément incomplet si :
    • Il ne contient pas toutes les données nécessaires à une identification unique
    • Une erreur s’est produite et n’est pas associée à un élément partiel.
    L’identification unique n’est pas possible si source_namesource_native_key ni dans l’objet sys_object_source_info ni l’ensemble complet des attributs de critères d’identification spécifiés pour la classe CI n’est fourni.

    Les éléments incomplets sont enregistrés en tant que charges utiles incomplètes dans la table Charges utiles incomplètes [cmdb_ire_incomplete_payloads] IRE CMDB au format JSON. Les éléments incomplets sont stockés dans le but de consigner les charges utiles avec des erreurs irrécupérables et ne sont plus jamais traités.

    Ajout de relations

    Ajoutez des relations à l’aide d’index ou de l’élément de internal_id JSON facultatif.

    Utilisez l’objet relations dans la charge utile pour ajouter ou mettre à jour des relations en faisant référence à internal_ids des éléments. Des relations peuvent être créées à l’aide d’éléments principaux et d’éléments connexes de la charge utile. Par exemple :
    • Relation (index parent, index enfant, type de relation)
    • Relation (ID interne parent, ID interne enfant, type de relation)

    Pour plus d’informations et pour obtenir des exemples de code, consultez CreateOrUpdateCIEnhanced().

    Ajout de références entre les éléments de charge utile

    Ajoutez des références entre deux éléments de charge utile à l’aide de l’élément JSON internal_id facultatif, qui identifie de manière unique les éléments de charge utile.

    Utilisez le referenceItems bloc pour ajouter ou mettre à jour des références. Vous pouvez ajouter des références entre deux éléments quelconques, y compris des éléments principaux, des éléments de recherche et des éléments connexes, dans une charge utile unique.

    Pour plus d’informations et pour obtenir des exemples de code, consultez CreateOrUpdateCIEnhanced().

    Reclassification de CI

    Utilisez les marqueurs , updateWithoutDowngradeupdateWithoutSwitch et dans le bloc de paramètres d’une charge utile pour empêcher les updateWithoutUpgrademises à jour involontaires de la classe des CI. Ces marqueurs empêchent la mise à niveau, le passage à une version antérieure ou le changement de classe d’un CI que plusieurs sources de données peuvent tenter involontairement lors de la mise à jour du même CI. Pour plus d’informations et pour obtenir des exemples de code, consultez CreateOrUpdateCIEnhanced().

    Les marqueurs de reclassification sont prioritaires sur tous les autres paramètres système pour Reclassification de CI au cours du traitement IRE.

    Ajout de scripts avant et après personnalisés

    Utilisez Centre d’intégration ETL pour ajouter des scripts Java personnalisés pour une source de données d’une application d’intégration CMDB. Ces scripts permettent d’accéder aux charges utiles d’entrée et de sortie IRE pendant le traitement des intégrations CMDB.

    Avant que les scripts ne donnent accès à un lot de charges utiles d’entrée qui seront envoyées à IRE. L’utilisation d’un script avant personnalisé vous permet d’effectuer les opérations suivantes :
    • Ignorez une charge utile dans le lot en définissant l’option statussur SKIPPED. Vous pouvez également fournir un motif d’omission de la charge utile qui s’affichera sous forme de commentaire dans la table de lignes de jeu d’importation respective.
    • Modifiez la charge utile d’entrée.
    • Écrivez une autre logique personnalisée à l’intérieur du script qui utilise la charge utile IRE.
    Les scripts After permettent d’accéder aux charges utiles d’entrée et de sortie IRE. L’utilisation d’un script After personnalisé vous permet d’effectuer les actions suivantes :
    • Comparez facilement les charges utiles d’entrée et de sortie, et identifiez les différentes opérations qu’IRE a effectuées sur chaque CI.
    • Accédez à la sys_ids des CI créés ou mis à jour par IRE.
    • Écrivez une autre logique personnalisée à l’intérieur du script qui utilise la charge utile de sortie IRE.