Moteur Identification et réconciliation (IRE)
L’IRE est un composant clé sous-jacent de l’identification et de la réconciliation, fournissant un cadre centralisé pour effectuer des processus d’identification et de réconciliation sur différentes sources de données. IRE utilise des règles d’identification, des règles de rapprochement et des règles de source de données IRE lors du traitement des données entrantes avant l’insertion de ces données dans la CMDB.
- IRE empêche les CI en double en identifiant les CI de façon unique.
- IRE réconcilie les attributs de CI en autorisant uniquement les sources de données de référence à écrire dans CMDB.
- À propos des propriétés qui affectent certaines fonctions d’IRE : reportez-vous à la section Propriétés pour l’identification et la réconciliation.
- À propos de l’utilisation des API IRE : consultez Moteur d’identification - Champ d’application.
- À propos de l’activation du débogage et de la vérification des problèmes liés à une charge utile : consultez la section Comment consigner la charge utile envoyée à IRE et vérifier les problèmes liés à la charge utile [KB0750382].
- À propos des étapes effectuées par IRE pour illustrer le fonctionnement d’IRE, telles que la validation de la charge utile, l’application du rapprochement et la validation des données dans la CMDB : Voir [CMDB - IRE] Fonctionnement du moteur Identification et réconciliation CMDB lors du passage d’un CI (en tant que charge utile) à createOrUpdateCI() [KB0750386].
- À propos de l’exécution d’une charge utile via IRE : Consultez [CMDB IRE] Exécution de l’identification CI sur demande à l’aide de la charge utile [KB0750383].
Identification du CI
Le processus d’identification CMDB s’appuie sur des règles d’identification pour identifier de façon unique les CI. Dans la mesure du possible, les CI peuvent également être identifiés de façon unique à l’aide source_namesource_native_key des valeurs fournies dans la sys_object_source_info section de la charge utile et dans la table Source [sys_object_source]. Si l’identification est réussie à l’aide de cette méthode, il n’est pas nécessaire d’appliquer des algorithmes de correspondance qui reposent sur des règles d’identification, qui est une méthode d’identification plus lente.
{
"items": [
{
"className": "cmdb_ci_win_server",
"values": {
"name": "SAMLABVM52"
},
"sys_object_source_info": {
"source_native_key": "16777219",
"source_name": "SCCM",
"source_feed": "SCCM Computer Identity",
"source_recency_timestamp": "2019-08-26 13:00:00"
}
}
]
}Identification des éléments de la charge utile
- Combinaison des valeurs et de l’objet source_namesys_object_source_info.source_native_key
- Attributs de critères d’identification.
Horodatages dans les attributs clés
Dernière détection (last_discovered) et Source de détection (discovery_source) :
La détection la plus récente (last_discovered) est l’horodatage de la dernière détection du CI. IRE met toujours à jour les CI et discovery_source les attributs pendant le traitement de la charge utile, même lorsqu’aucun autre attribut de CI n’est last_discovered mis à jour. Lorsqu’il last_discovered est fourni dans la charge utile, IRE met à jour le CI avec la valeur fournie uniquement si l’heure last_discovered dans la charge utile est plus récente que celle de la CMDB. S’il last_discovered n’est pas fourni dans la charge utile, IRE met à jour l’attribut avec l’horodatage last_discovered actuel.
Vous pouvez utiliser les propriétés système glide.identification_engine.skip_updating_source_last_discovered_if_older et glide.identification_engine.ire_message_listener_skip_updating_source_last_discovered_to_now pour modifier ce comportement par défaut.
Première détection (first_discovered) est l’horodatage de la création du CI.
- Lorsque le CI est créé pour la première fois : si une valeur est fournie dans la charge utile, IRE insère cette valeur. Dans le cas contraire, IRE insère l’horodatage actuel.
- Dans les mises à jour suivantes : Si une valeur est fournie, IRE met à jour le CI avec la valeur fournie. Sinon, l’attribut n’est pas mis à jour.
Fonctionnalités IRE améliorées
- Charges utiles partielles
IRE isole les éléments pour lesquels les sources de données n’ont pas fourni suffisamment d’informations pour identifier le CI de façon unique, de sorte que le traitement ne peut pas se poursuivre. Certains de ces éléments sont identifiés comme des éléments partiels, qui sont stockés en vue d’un traitement ultérieur potentiel. D’autres éléments sont identifiés comme des éléments incomplets, qui sont stockés uniquement à des fins de journalisation.
Par exemple : SCCM comporte plusieurs flux, par exemple un flux sur disque et un flux pour ordinateur. Le flux de disque peut contenir des informations complètes sur le disque, mais pas suffisamment d’informations sur le CI de l’ordinateur dont il dépend.
Option API : partial_payloads qui est activée par défaut. Quand partial_payloads est activé et deduplicate_payloads sont automatiquement activés, partial_commits quel que soit leur paramètre dans les options.
- Validations partielles
Les erreurs dans certains éléments n’empêchent pas la validation du reste des éléments dans une charge utile. Par conséquent, lorsqu’une charge utile contient des éléments avec des erreurs, IRE valide toujours les éléments valides restants dans la charge utile. Dans ce cas, certains des éléments non validés sont enregistrés en tant que charges utiles partielles et d’autres éléments non validés sont enregistrés en tant que charges utiles incomplètes.
Option API : partial_commits qui est activée par défaut.
- Dédupliquer les éléments de charge utile
IRE déduplique les éléments en double dans la charge utile, en fusionnant ces doublons en un seul élément de charge utile pour le traitement.
Option API : deduplicate_payloads qui est activée par défaut.
- Générer un résumé
IRE génère des résumés dans la charge utile de sortie avec des détails de traitement tels que le nombre de mises à jour par classe.
Option API : generate_summary qui est désactivée par défaut.
Éléments partiels
Un élément de charge utile est considéré comme partiel s’il contient les données nécessaires pour une identification unique et s’il présente l’une des erreurs suivantes. L’identification unique nécessite que l’élément de charge utile comporte la sys_object_source_info section avec source_name et source_native_key ou l’ensemble complet des attributs de critères d’identification spécifiés pour la classe CI, ou les deux.
- MISSING_MATCHING_ATTRIBUTES : l’élément n’a pas d’attributs de critère d’identification pour utiliser au moins une entrée d’identificateur pour la correspondance.
- REQUIRED_ATTRIBUTE_EMPTY : impossible de créer un CI, car un attribut requis est manquant.
- MISSING_DEPENDENCY : il manque au CI dépendant une relation de dépendance spécifiée dans la charge utile.
- INSERT_NOT_ALLOWED_FOR_SOURCE : une règle de source de données IRE empêche les sources de données spécifiées de créer des CI de la classe spécifiée.
Pour en savoir plus sur les messages d’erreur IRE, reportez-vous à la section Messages d’erreur IRE.
Si le traitement échoue, car les éléments de la charge utile sont déterminés comme étant des éléments partiels, les éléments partiels sont enregistrés en tant que charges utiles partielles dans la table Charges utiles partielles IRE [cmdb_ire_partial_payloads] CMDB au format JSON pour un traitement potentiel ultérieur. IRE utilise des clés d’identificateur pour tenter de faire correspondre les charges utiles entrantes avec les charges utiles partielles stockées.
Si, ultérieurement, une source de données envoie les données qui manquaient dans l’élément partiel, IRE fait correspondre la charge utile entrante avec les charges utiles partielles stockées. IRE fusionne ensuite toutes les charges utiles partielles correspondantes avec la charge utile entrante. Pour résoudre les attributs en conflit, IRE utilise soit source_recency_timestamp (quand source_native_key et source_name sont identiques), soit des règles de rapprochement statiques spécifiées pour la classe. Il en résulte une charge utile complète et valide qu’IRE traite ensuite pour créer ou mettre à jour les CI respectifs.
Les charges utiles partielles de plus de 90 jours sont supprimées de la table Charges utiles partielles [cmdb_ire_partial_payloads] IRE CMDB.
Disk feed:
{
"items": [
{
"className": "cmdb_ci_computer",
"sys_object_source_info": {
"source_native_key": "Server001",
"source_name": "SCCM",
"source_feed": "DISK_FEED",
"source_recency_timestamp": "2019-08-26 13:00:00"
}
},
{
"className": "cmdb_ci_disk",
"values": {
"name": "disk1"
}
}
],
"relations": [{
"parent": 0,
"child": 1,
"type": "Contains::Contained by"}
]
}L’élément d’ordinateur dans la charge utile ci-dessus n’a pas d’attributs et IRE ne peut donc pas le traiter. Cependant, source_nameet source_native_key sont fournis, ce qui en fait un élément partiel. Étant donné que l’élément de l’ordinateur est partiel, l’élément de disque qui dépend de l’élément de l’ordinateur est également un élément partiel.Server/Computer feed:
{
"items": [
{
"className": "cmdb_ci_linux_server",
"values": { "name": 'linux001',
"ip_address": "100.126.38.19",
"mac_address": "DSWER4587" },
"sys_object_source_info": {
"source_native_key": "Server001",
"source_name": "SCCM",
"source_feed": "COMPUTER_IDENTITY",
"source_recency_timestamp": "2019-08-26 14:00:00"
}
}
]
} L’ordinateur de la charge utile partielle et le serveur de la nouvelle charge utile correspondent, car ils ont des données identiques source_name et source_native_key. Par conséquent, la charge utile partielle et la nouvelle charge utile sont fusionnées, l’opération est validée et la charge utile partielle est supprimée de la table Charges utiles partielles.Il existe une limite au nombre d’éléments par charge utile partielle, qui est définie par la propriété glide.identification_engine.partial_payload_items_max_size (1 000 par défaut). Le stockage des relations, des références et des éléments dépendants associés dans une charge utile partielle peut entraîner l’atteinte de cette limite, auquel cas la charge utile est divisée en plusieurs charges utiles partielles.
Pour plus d’informations sur les charges utiles partielles, consultez CreateOrUpdateCIEnhanced().
Éléments incomplets
- Il ne contient pas toutes les données nécessaires à une identification unique
- Une erreur s’est produite et n’est pas associée à un élément partiel.
Les éléments incomplets sont enregistrés en tant que charges utiles incomplètes dans la table Charges utiles incomplètes [cmdb_ire_incomplete_payloads] IRE CMDB au format JSON. Les éléments incomplets sont stockés dans le but de consigner les charges utiles avec des erreurs irrécupérables et ne sont plus jamais traités.
Ajout de relations
Ajoutez des relations à l’aide d’index ou de l’élément de internal_id JSON facultatif.
- Relation (index parent, index enfant, type de relation)
- Relation (ID interne parent, ID interne enfant, type de relation)
Pour plus d’informations et pour obtenir des exemples de code, consultez CreateOrUpdateCIEnhanced().
Ajout de références entre les éléments de charge utile
Ajoutez des références entre deux éléments de charge utile à l’aide de l’élément JSON internal_id facultatif, qui identifie de manière unique les éléments de charge utile.
Utilisez le referenceItems bloc pour ajouter ou mettre à jour des références. Vous pouvez ajouter des références entre deux éléments quelconques, y compris des éléments principaux, des éléments de recherche et des éléments connexes, dans une charge utile unique.
Pour plus d’informations et pour obtenir des exemples de code, consultez CreateOrUpdateCIEnhanced().
Reclassification de CI
Utilisez les marqueurs , updateWithoutDowngradeupdateWithoutSwitch et dans le bloc de paramètres d’une charge utile pour empêcher les updateWithoutUpgrademises à jour involontaires de la classe des CI. Ces marqueurs empêchent la mise à niveau, le passage à une version antérieure ou le changement de classe d’un CI que plusieurs sources de données peuvent tenter involontairement lors de la mise à jour du même CI. Pour plus d’informations et pour obtenir des exemples de code, consultez CreateOrUpdateCIEnhanced().
Les marqueurs de reclassification sont prioritaires sur tous les autres paramètres système pour Reclassification de CI au cours du traitement IRE.
Ajout de scripts avant et après personnalisés
Utilisez Centre d’intégration ETL pour ajouter des scripts Java personnalisés pour une source de données d’une application d’intégration CMDB. Ces scripts permettent d’accéder aux charges utiles d’entrée et de sortie IRE pendant le traitement des intégrations CMDB.
- Ignorez une charge utile dans le lot en définissant l’option statussur SKIPPED. Vous pouvez également fournir un motif d’omission de la charge utile qui s’affichera sous forme de commentaire dans la table de lignes de jeu d’importation respective.
- Modifiez la charge utile d’entrée.
- Écrivez une autre logique personnalisée à l’intérieur du script qui utilise la charge utile IRE.
- Comparez facilement les charges utiles d’entrée et de sortie, et identifiez les différentes opérations qu’IRE a effectuées sur chaque CI.
- Accédez à la sys_ids des CI créés ou mis à jour par IRE.
- Écrivez une autre logique personnalisée à l’intérieur du script qui utilise la charge utile de sortie IRE.