Nettoyage automatisé des enregistrements en double à partir de lasource AME
L’application TISC inclut une logique automatisée pour gérer les enregistrements qui ont été reçus à plusieurs reprises de la même source. Lorsque des enregistrements identiques ou correspondants sont ingérés plusieurs fois à partir de la même source, l’application s’assure que l’enregistrement le plus récent reste actif tandis que les instances précédemment stockées sont identifiées comme des doublons.
Impact des enregistrements dupliqués
Lorsque des enregistrements en double de la même source sont conservés dans l’application :
- Les tâches de déduplication doivent évaluer un plus grand nombre d’enregistrements pendant l’exécution.
- L’augmentation du volume d’enregistrements peut prolonger l’exécution des tâches.
- Une latence de traitement peut se produire lorsque le système identifie et résout les entrées redondantes.
Les nettoyeurs de table sont implémentés pour les tables Source d’observable [sn_sec_tisc_observable_source], Source d’indicateur [sn_sec_tisc_indicator_source] et Source d’objet [sn_sec_tisc_object_source].
Ces nettoyeurs suppriment les enregistrements des tables respectives en fonction de la condition suivante :
Records where the processing Status is set to Duplicate and Duplicate of Record from Same Source flag is set to true and the record was last updated more than 90 days ago.