Détails du journal pour un collecteur de données optimisé
Rversion finale: Washingtondc
Mis à jour 1 févr. 2024
7 minutes de lecture
À partir de cette Tokyo version, un nouveau collecteur de données optimisé est disponible. Les détails du journal de ce collecteur de données diffèrent de ceux du collecteur de données classique.
Vue d’ensemble de la collection
Le travail de collecte de données implique l’exécution d’une requête SQL pour chaque source d’indicateur qui utilise le collecteur de données. La requête se répète à chaque heure de collecte, de la date de début à la date de fin. Ensuite, les requêtes s’exécutent pour la source d’indicateur suivante. Chaque étape de l’exécution d’une requête est documentée dans le journal de tâches de collecte de données. Figure 1. Vue de haut niveau du travail de collecte de données
Démarrer et terminer la tâche de collecte
Suivez le processus de collecte de données tel qu’indiqué dans les messages de journal. Les messages de journal de chaque sous-processus ont été séparés dans leurs propres tables.
Remarque :
Ce journal est destiné au collecteur de données HSQL optimisé, comme décrit à la section Optimisation de la collecte de données. Si com.snc.pa.dc.hsql « faux », cela signifie que vous utilisez le collecteur de données classique. Sinon, vous utilisez le collecteur de données optimisé. Pour plus d’informations sur ce journal, reportez-vous à Détails du journal pour le collecteur de données classique.
Étape de tâche de collecte
Exemple d’entrée de journal résultante
Affiche le domaine de l’exécution de la tâche de collecte en tant qu’utilisateur.
L’utilisateur <admin> appartient au domaine global
Début de la collecte. Le début de tâche spécifie si les scores, l’index de texte ou les deux sont collectés. Les messages spécifient également que le collecteur de données HSQL optimisé est en cours d’utilisation et si les journaux de débogage sont activés. Peut uniquement Service et assistance client activer les journaux de débogage.
Début de la collecte des scores et de l’index de texte. Valeur des propriétés dans le système -
Utilisation du collecteur de données HSQL : true
Journaux de débogage activés : vrai
Nom du nœud : vsr007
Affiche les domaines pour lesquels les scores sont collectés. Affiche également d’autres détails pertinents sur les domaines.
DomainConfig : Test des journaux de collecte de configuration de domaine : 3d359877b77000106886e664de11a97c, Type : conditions, RollUpType : roll_up_children, collectAggregate ? Oui, collectChildren ?: Oui, AggregateDomain : Nom : 3d359877b77000106886e664de11a97c - SysID : d1659c77b77000106886e664de11a91e, Domaines : Default,MSP,ACME,Cisco,Initech,Oceanic Airlines
Répertorie les sources d’indicateurs pour lesquelles la tâche collecte des données, y compris leurs ID uniques.
Afficher les statistiques pour le travail de collecte de données
Statistiques : insertions 184, mises à jour 0, suppressions 92, erreurs 0, avertissements 0
Terminer la tâche
Collecte terminée
Étapes itérées pour chaque source d’indicateur
Étape de tâche de collecte
Exemple d’entrée de journal résultante
Récupérez la source de l’indicateur.
Traitement de la source de l’indicateur Incidents.Open
Répétez que le collecteur de données HSQL optimisé est en cours d’utilisation.
Répertoriez les indicateurs qui ont des conditions supplémentaires, au-delà des conditions héritées de la source d’indicateur.
Indicateur : Connexions des administrateurs : [sys_id de l’indicateur], Conditions supplémentaires : ref_isc_login_event.login_type=login_admin, Est Collecter les enregistrements : vrai
Itérez les étapes pour chaque période de collecte.
Traitement de la source de l’indicateur Incidents.New
Étapes itérées pour chaque période de collecte
Étape de tâche de collecte
Exemple d’entrée de journal résultante
Date de début de la tâche de collecte.
Collecte pour 20191103 sur la source d’indicateur Incidents.Open
Récupérez les champs suivants :
Champs uniques des sources de répartition (généralement sys_id)
Les champs d’indicateur utilisés dans les mappages de répartition
Les champs de table utilisés dans les mappages de répartition scriptés
Champs de source d’indicateur utilisés dans l’analyse de texte, si l’index de texte est collecté (inclut généralement short_description)
Extraction de « short_description sys_id, opened_at, assignment_group, description, priorité, catégorie » à partir de « incident »
Générez SQL en fonction des conditions spécifiées dans la source de l’indicateur.
Remarque :
Si la source de l’indicateur spécifie Aujourd’hui dans l’une des conditions, Aujourd’hui est considéré comme correspondant à la période pour laquelle le travail de collecte de données est exécuté. Par exemple, la source de l’indicateur Incidents.New inclut la condition [Ouvert][activé][Aujourd’hui]. Les jours étant définis pour commencer à 07 :00 :00, lorsque les données sont collectées pour le 28/10/2019, la tâche génère le script SQL sur la droite.
SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' >= '2019-10-28 07 :00 :00' AND task0.'opened_at' <= '2019-10-29 06 :59 :59')
Affichez le nombre d’enregistrements récupérés par SQL.
150 lignes extraites de la source d’indicateur Incidents.Open (table de faits : incident)
Supprimer les résultats précédents.
Résultats précédents supprimés 1 pour Indicateur : Emprunts d’identité
Exécutez la fonction de mappage/réduction pour calculer les scores des indicateurs.
Si l’indexation de texte est active et a été configurée pour la source d’indicateur, le collecteur de données stocke l’index de texte résultant.
Stockage de l’index de texte pour la source d’indicateur Incidents.Open
Octets utilisés par l’index de texte : 41 984 pour : Incidents.Open
Les objets sont déchargés dans la base de données HSQL chaque fois que l’un des seuils suivants est dépassé :
Nombre de scores
Nombre d’instantanés
Nombre total de valeurs distinctes du compte
Consignez le nombre de fois où la limite de déchargement a été dépassée pour chaque catégorie d’objet. Chaque fois que la limite de déchargement est dépassée dans une catégorie, tous les objets sont déplacés vers le stockage temporaire de base de données HSQL. À la fin de la fonction mapper/réduire, tous les enregistrements restants sont déchargés. Le nombre d’enregistrements restants est généralement inférieur au seuil, et ce déchargement est également consigné.
Nombre de fois où la limite de déchargement a dépassé le seuil pour les scores : 275
Nombre de fois où la limite de déchargement a dépassé le seuil pour les instantanés : 0
Nombre de fois où la limite de déchargement a dépassé le seuil pour des valeurs distinctes : 0
Décharger le lot d’enregistrements qui n’ont pas dépassé le seuil : 1
Commencez à stocker les résultats nouvellement collectés pour la source d’indicateur.
Stocker les résultats collectés pour la source d’indicateur Incidents.Resolved
Tout indicateur avec une valeur Null est consigné.
« Valeur quand nul » stockée : 0,0 en tant que score pour l’indicateur : Nombre d’incidents déviés par la base de connaissances
Terminez le stockage des résultats.
Résultats recueillis enregistrés
Spécifiez les indicateurs pour lesquels le collecteur de données ne collecte pas de scores.
Pas de collecte pour l’indicateur : âge cumulé des incidents ouverts avec exclusion Répartition : Groupe d’affectation
Terminez la collecte des données pour cette source d’indicateur pour cette période.
Collecte pour 20200519 sur la source d’indicateur Incidents.Ouvert terminé
Affichez la durée moyenne passée sur un enregistrement pour traiter les conditions supplémentaires qui ont été définies dans les indicateurs.
Temps moyen nécessaire pour traiter une condition d’indicateur supplémentaire pour chaque enregistrement : 138 ms
Étapes de la fonction de mappage/réduction
Étape de tâche de collecte
Exemple d’entrée de journal résultante
La fonction map/reduce s’exécute.
Application de la fonction de mappage/réduction pour la source d’indicateur Incidents.Open
Avertissement si l’indexation de texte est active pour la tâche, mais ne peut pas s’exécuter en raison d’une configuration d’index de texte manquante ou non valide.
Omission de la collection d'index de texte, car la configuration d'index de texte est manquante ou non valide
Traitez chaque enregistrement sur la source de l’indicateur pour calculer les scores. Les messages de journal suivent le total des enregistrements traités.
Chaque fois que le nombre de scores ou d’instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est journalisé une fois que la fonction de mappage/réduction est terminée.
Le traitement de chaque enregistrement implique :
Exécuter ou évaluer des scripts.
Validez les conditions de l’indicateur.
Calculez le score de l’indicateur.
Pour chaque répartition :
Calculez le score de répartition ou exécutez le script de répartition.
Récupérer toutes les valeurs uniques de répartition.
Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est le suivant : Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]
Traitement de 15,8 % (3) enregistrements
31,6 % (6) enregistrements traités
Traitement de 47,4 % (9) enregistrements
Traitement de 63,2 % (12) enregistrements
Traitement de 78,9 % (15) enregistrements
Traitement de 94,7 % (18) enregistrements
100 % (4) enregistrements traités, taille de l’objet de résultat : 20 Mo
