--- sourceDocument: Yokohama Platform Analytics sourceDocumentLink: https://servicenow-prod.fluidtopics.net/r/fr-FR/yokohama/now-intelligence Release : - yokohama ft:locale : - fr-FR ft:publication_title : - Yokohama Platform Analytics ft:clusterId : - par bundleId : - par workflow : - Platform --- # Détails du journal pour un collecteur de données optimisé # Détails du journal pour un collecteur de données optimisé {#ariaid-title1} * Rversion finale: Yokohama * * Mis à jour 30 janv. 2025 * * ![](https://www.servicenow.com/docs/portal-asset/ico-clock) 7 minutes de lecture À partir de la Tokyo version, un nouveau collecteur de données optimisé est disponible. Les détails du journal pour ce collecteur de données diffèrent des détails du journal du collecteur de données classique. ## Vue d'ensemble de la collection {#log-details-optimized-dc__id_f5d_1yv_pqb} La tâche de collecte de données implique l'exécution d'une requête SQL pour chaque source d'indicateur qui utilise le collecteur de données. La requête se répète pour chaque heure de collecte, de la date de début à la date de fin. Les requêtes s'exécutent ensuite pour la source d'indicateur suivante. Chaque étape d'exécution d'une requête est documentée dans le journal des tâches de collecte de données. Figure 1. Vue de haut niveau de la tâche de collecte de données ## Démarrage et fin de la tâche de collecte {#log-details-optimized-dc__section_zg3_dyv_pqb} Suivez le processus de collecte de données tel qu'indiqué dans les messages du journal. Les messages de journal de chaque sous-processus ont été séparés dans leurs propres tables. Remarque : Ce journal est destiné au collecteur de données HSQL optimisé tel que décrit dans .[Optimiser la collecte de données](https://servicenow-prod.fluidtopics.net/lAPrK8YmdW8MHq~q2iGTcA "Le collecteur de données optimisé Analyse des performances réduit le temps, la mémoire et l’utilisation du processeur pour le traitement de jeux de données volumineux.") Si com.snc.pa.dc.hsql la valeur est \<\< faux \>\>, vous utilisez le collecteur de données classique. Sinon, vous utilisez le collecteur de données optimisé. Pour plus d'informations sur ce journal, reportez-vous à la section [Détails du journal pour le collecteur de données classique](https://servicenow-prod.fluidtopics.net/arSfYy3jhjZlXjDzte9~qA "Analyse des performances La collecte des scores suit le processus décrit ici. Pour faciliter le dépannage, un mappage entre les étapes de la tâche et les entrées de journal est fourni."). {#log-details-optimized-dc__table_kwh_k4g_qbb__entry__2} | Étape de la tâche de collecte | Exemple d'entrée de journal obtenue | |-|-| | Affiche le domaine de la tâche de collecte Exécuter en tant qu'utilisateur. | L'utilisateur \ appartient au domaine global | | La collecte commence. Début de la tâche spécifie si les scores, l'index de texte ou les deux sont collectés. Les messages indiquent également que le collecteur de données HSQL optimisé est en cours d'utilisation et si les journaux de débogage sont activés. Seul Service et assistance client peut activer les journaux de débogage. | Début de la collecte des scores et de l'index de texte. Valeur des propriétés dans le système : Utilisation du collecteur de données HSQL : vrai Journaux de débogage activés : vrai Nom du nœud : vsr007 | | Affiche les domaines pour lesquels les scores sont collectés. Affiche également d'autres détails pertinents sur les domaines. | DomainConfig : test de la configuration de domaine Journaux de collecte : 3d359877b77000106886e664de11a97c, Type : conditions, RollUpType : roll_up_children, collectAggregate ? Oui, collectChildren ? : Oui, AggregateDomain : Nom : 3d359877b77000106886e664de11a97c - SysID : d1659c77b77000106886e664de11a91e, Domaines : Default,MSP,ACME,Cisco,Initech,Oceanic Airlines | | Répertorie les sources d'indicateurs pour lesquelles la tâche collecte des données, y compris leurs ID uniques. | Sources d'indicateurs à collecter : Incidents.New : b54f2c23d7030100b96d45a3ce61032f, Incidents.Open : b5cf2c23d7030100b96d45a3ce6103cc, Incidents.Closed : 2ac8dd31ff2302001e68ffffffffff3d, Incidents.Resolved : 4c207c23d7030100b96d45a3ce610308 | | Répertorie chaque indicateur associé à la tâche et les propriétés d'indicateur associées à la collecte de données : * Les enregistrements sont-ils collectés dans un [instantané](https://servicenow-prod.fluidtopics.net/ovhhdNydRSr_rf~a~ytTKw#gloss-snapshot "Liste des enregistrements de table (sys_ids) collectés au moment où les scores des indicateurs de ces enregistrements sont collectés.") ? * Des répartitions sont-elles exclues ? * Les périodes de collecte dans la source de l'indicateur sont-elles remplacées ? * La matrice de répartition est-elle collectée ? * Si la matrice de répartition est collectée, des combinaisons de répartition sont-elles exclues ? {#log-details-optimized-dc__ul_kx2_2pt_pjb} | JobIndicator : nombre d'incidents ouverts : de537dc3d7131100b96d45a3ce610305 Propriétés de l'indicateur de tâche : collectIndicator ? : oui, BreakdownCollectionType : WITH_EXCLUDE Répartitions exclues : groupe d'affectation, état Propriétés de l'indicateur =\> CollectingRecords : oui, périodes de collecte remplacées : non, scripté ? : non, combinaisons de répartitions ? : oui, combinaisons de répartitions exclues : aucune combinaison n'est exclue. | | Itérer des étapes pour chaque source d'indicateur | Voir le tableau [Étapes itérées pour chaque source d'indicateur](https://servicenow-prod.fluidtopics.net/kxKGgmhlwgsoQtLju4e~Rg#log-details-optimized-dc__section_indicator-source). | | Afficher les statistiques pour le travail de collecte de données | Statistiques : insère 184, met à jour 0, supprime 92, erreurs 0, avertissements 0 | | Terminer la tâche | Collecte terminée | [ ] {#log-details-optimized-dc__table_kwh_k4g_qbb} ## Étapes itérées pour chaque source d'indicateur {#log-details-optimized-dc__section_indicator-source} {#log-details-optimized-dc__table_indicator-source__entry__2} | Étape de la tâche de collecte | Exemple d'entrée de journal obtenue | |-|-| | Récupérez la source de l'indicateur. | Traitement de la source de l'indicateur Incidents.Open | | Répétez que le collecteur de données HSQL optimisé est en cours d'utilisation. | | | Répertoriez les indicateurs qui ont des conditions supplémentaires, au-delà des conditions héritées de la source de l'indicateur. | Indicateur : connexions administrateur -- \[sys_id de l'indicateur\], Conditions supplémentaires : ref_isc_login_event.login_type=login_admin, est Collecter les enregistrements : vrai | | Itérez les étapes pour chaque période de collecte. | Voir le tableau [Étapes itérées pour chaque période de collecte](https://servicenow-prod.fluidtopics.net/kxKGgmhlwgsoQtLju4e~Rg#log-details-optimized-dc__section_collection-period) | | Récupérez la source de l'indicateur suivant. | Traitement de la source de l'indicateur Incidents.New | [ ] {#log-details-optimized-dc__table_indicator-source} ## Étapes itérées pour chaque période de collecte {#log-details-optimized-dc__section_collection-period} {#log-details-optimized-dc__table_collection-period__entry__2} | Étape de la tâche de collecte | Exemple d'entrée de journal obtenue | |-|-| | Date de début de la tâche de collecte. | Collecte pour 20191103 sur la source de l'indicateur Incidents.Open | | Récupérez les champs suivants : * Champs uniques des sources de répartition (généralement sys_id) * Champs d'indicateur utilisés dans les mappages de répartition * Champs de table utilisés dans les mappages de répartition scriptés * Les champs sources d'indicateurs utilisés dans l'analyse de texte, si l'index de texte est collecté (inclut généralement short_description) {#log-details-optimized-dc__ul_bw4_ydd_tlb} | Extraction de \<\< short_description,sys_id, opened_at, assignment_group, description, priorité, catégorie \>\> à partir de \<\< incident \>\> | | Générez du SQL en fonction des conditions spécifiées dans la source de l'indicateur. Remarque : Si la source de l'indicateur spécifie Aujourd'hui dans l'une des conditions, Aujourd'hui est considéré comme correspondant à la période pour laquelle la tâche de collecte de données est exécutée. Par exemple, la source de l'indicateur Incidents.New inclut la condition \[Opened\]\[on\]\[Today\]. Avec des jours définis pour commencer à 07:00:00, lorsque les données sont collectées pour le 28/10/2019, la tâche produit le script SQL à droite. | SELECT task0.'sys_id' FROM task task0 WHERE task0.'sys_class_name' = 'incident' AND (task0.'opened_at' \>= '2019-10-28 07:00:00' AND task0.'opened_at' \<= '2019-10-29 06:59:59') | | Affichez le nombre d'enregistrements récupérés par le SQL. | 150 lignes extraites de la source d'indicateur Incidents.Open (table de faits : incident) | | Supprimer les résultats précédents. | Résultats précédents supprimés 1 pour l'indicateur : emprunts d'identité | | Exécutez la fonction mapper/réduire pour calculer les scores des indicateurs. | Voir le tableau [Étapes de la fonction de mappage/réduction](https://servicenow-prod.fluidtopics.net/kxKGgmhlwgsoQtLju4e~Rg#log-details-optimized-dc__section_map-reduce) | | Si l'indexation de texte est active et a été configurée pour la source d'indicateur, le collecteur de données stocke l'index de texte résultant. | Stockage de l'index de texte pour la source de l'indicateur Incidents.Open | | Si l'indexation de texte est active et a été configurée pour la source d'indicateur, le collecteur de données stocke l'index de texte résultant. | Octets utilisés par l'index de texte : 41 984 pour : Incidents.Open | | Les objets sont déchargés dans la base de données HSQL chaque fois que l'un des seuils suivants est dépassé : * Nombre de scores * Nombre d'instantanés * Nombre total de valeurs distinctes du compte {#log-details-optimized-dc__ul_idr_jbk_jrb} Consigner le nombre de dépassements de la limite de déchargement pour chaque catégorie d'objet. Chaque fois que la limite de déchargement est dépassée dans une catégorie, tous les objets sont déplacés vers le stockage de base de données temporaire HSQL. À la fin de la fonction de mappage/réduire, tous les enregistrements restants sont déchargés. Le nombre d'enregistrements restants est généralement inférieur au seuil, et ce déchargement est également consigné. | Nombre de fois que la limite de déchargement a été franchie seuil pour les scores : 275 Nombre de fois où le seuil limite de déchargement a été franchi pour les instantanés : 0 Nombre de fois où la limite de déchargement a franchi le seuil pour des valeurs distinctes : 0 Déchargez le lot d'enregistrements qui n'a pas franchi le seuil : 1 | | Commencez à stocker les résultats nouvellement collectés pour la source de l'indicateur. | Stocker les résultats collectés pour la source de l'indicateur Incidents.Résolus | | Tout indicateur avec une valeur nulle est journalisé. | \<\< Valeur quand nul \>\> stockée : 0,0 en tant que score pour l'indicateur : Nombre d'incidents déviés par la base de connaissances | | Terminez le stockage des résultats. | Résultats collectés enregistrés | | Spécifiez les indicateurs pour lesquels le collecteur de données ne collecte pas de scores. | Pas de collecte pour l'indicateur : âge cumulé des incidents ouverts avec exclusion Répartition : groupe d'affectation | | Terminez la collecte des données pour cette source d'indicateur pour cette période. | Collection pour 20200519 sur la source de l'indicateur Incidents.Open terminé | | Affichez la durée moyenne passée sur un enregistrement pour traiter les conditions supplémentaires qui ont été définies sur les indicateurs. | Temps moyen nécessaire au traitement d'une condition d'indicateur supplémentaire pour chaque enregistrement : 138 ms | [ ] {#log-details-optimized-dc__table_collection-period} ## Étapes de la fonction de mappage/réduction {#log-details-optimized-dc__section_map-reduce} {#log-details-optimized-dc__table_map-reduce__entry__2} | Étape de la tâche de collecte | Exemple d'entrée de journal obtenue | |-|-| | La fonction map/reduce s'exécute. | Application de la fonction de mappage/réduction pour la source d'indicateur Incidents.Ouverts | | Avertissement si l'indexation de texte est active pour la tâche, mais ne peut pas s'exécuter en raison d'une configuration d'index de texte manquante ou non valide. | Omission de la collection d'index de texte, car la configuration d'index de texte est manquante ou non valide | | Traitez chaque enregistrement sur la source de l'indicateur pour calculer les scores. Les messages du journal suivent l'exécution du total des enregistrements traités. Chaque fois que le nombre de scores ou d'instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est enregistré une fois la fonction de mappage/réduction terminée. Le traitement de chaque enregistrement implique : * Exécuter ou évaluer des scripts. * Validez les conditions de l'indicateur. * Calculez le score de l'indicateur. * Pour chaque répartition : 1. Calculez le score de répartition ou exécutez le script de répartition. 2. Récupérer toutes les valeurs uniques de répartition. 3. Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est : `Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]` {#log-details-optimized-dc__ol_qnf_lkx_rbb} {#log-details-optimized-dc__ul_gvd_skz_ykb} | Traitement de 15,8 % (3) enregistrements | | Traitez chaque enregistrement sur la source de l'indicateur pour calculer les scores. Les messages du journal suivent l'exécution du total des enregistrements traités. Chaque fois que le nombre de scores ou d'instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est enregistré une fois la fonction de mappage/réduction terminée. Le traitement de chaque enregistrement implique : * Exécuter ou évaluer des scripts. * Validez les conditions de l'indicateur. * Calculez le score de l'indicateur. * Pour chaque répartition : 1. Calculez le score de répartition ou exécutez le script de répartition. 2. Récupérer toutes les valeurs uniques de répartition. 3. Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est : `Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]` {#log-details-optimized-dc__ol_qnf_lkx_rbb} {#log-details-optimized-dc__ul_gvd_skz_ykb} | Traitement de 31,6 % (6) enregistrements | | Traitez chaque enregistrement sur la source de l'indicateur pour calculer les scores. Les messages du journal suivent l'exécution du total des enregistrements traités. Chaque fois que le nombre de scores ou d'instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est enregistré une fois la fonction de mappage/réduction terminée. Le traitement de chaque enregistrement implique : * Exécuter ou évaluer des scripts. * Validez les conditions de l'indicateur. * Calculez le score de l'indicateur. * Pour chaque répartition : 1. Calculez le score de répartition ou exécutez le script de répartition. 2. Récupérer toutes les valeurs uniques de répartition. 3. Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est : `Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]` {#log-details-optimized-dc__ol_qnf_lkx_rbb} {#log-details-optimized-dc__ul_gvd_skz_ykb} | Traitement de 47,4 % (9) enregistrements | | Traitez chaque enregistrement sur la source de l'indicateur pour calculer les scores. Les messages du journal suivent l'exécution du total des enregistrements traités. Chaque fois que le nombre de scores ou d'instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est enregistré une fois la fonction de mappage/réduction terminée. Le traitement de chaque enregistrement implique : * Exécuter ou évaluer des scripts. * Validez les conditions de l'indicateur. * Calculez le score de l'indicateur. * Pour chaque répartition : 1. Calculez le score de répartition ou exécutez le script de répartition. 2. Récupérer toutes les valeurs uniques de répartition. 3. Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est : `Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]` {#log-details-optimized-dc__ol_qnf_lkx_rbb} {#log-details-optimized-dc__ul_gvd_skz_ykb} | Traitement de 63,2 % (12) enregistrements | | Traitez chaque enregistrement sur la source de l'indicateur pour calculer les scores. Les messages du journal suivent l'exécution du total des enregistrements traités. Chaque fois que le nombre de scores ou d'instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est enregistré une fois la fonction de mappage/réduction terminée. Le traitement de chaque enregistrement implique : * Exécuter ou évaluer des scripts. * Validez les conditions de l'indicateur. * Calculez le score de l'indicateur. * Pour chaque répartition : 1. Calculez le score de répartition ou exécutez le script de répartition. 2. Récupérer toutes les valeurs uniques de répartition. 3. Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est : `Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]` {#log-details-optimized-dc__ol_qnf_lkx_rbb} {#log-details-optimized-dc__ul_gvd_skz_ykb} | Traitement de 78,9 % (15) enregistrements | | Traitez chaque enregistrement sur la source de l'indicateur pour calculer les scores. Les messages du journal suivent l'exécution du total des enregistrements traités. Chaque fois que le nombre de scores ou d'instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est enregistré une fois la fonction de mappage/réduction terminée. Le traitement de chaque enregistrement implique : * Exécuter ou évaluer des scripts. * Validez les conditions de l'indicateur. * Calculez le score de l'indicateur. * Pour chaque répartition : 1. Calculez le score de répartition ou exécutez le script de répartition. 2. Récupérer toutes les valeurs uniques de répartition. 3. Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est : `Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]` {#log-details-optimized-dc__ol_qnf_lkx_rbb} {#log-details-optimized-dc__ul_gvd_skz_ykb} | Traitement de 94,7 % (18) enregistrements | | Traitez chaque enregistrement sur la source de l'indicateur pour calculer les scores. Les messages du journal suivent l'exécution du total des enregistrements traités. Chaque fois que le nombre de scores ou d'instantanés résultants dépasse une limite, tous les objets sont déchargés dans la base de données HSQL. Le déchargement est enregistré une fois la fonction de mappage/réduction terminée. Le traitement de chaque enregistrement implique : * Exécuter ou évaluer des scripts. * Validez les conditions de l'indicateur. * Calculez le score de l'indicateur. * Pour chaque répartition : 1. Calculez le score de répartition ou exécutez le script de répartition. 2. Récupérer toutes les valeurs uniques de répartition. 3. Créez ou mettez à jour le tableau pour les scores ou les instantanés. Le tableau est : `Indicateur, Répartition 1, Artefact 1, Répartition 2, Artefact 2, Domaine, Valeur, Tableau de [sys_id]` {#log-details-optimized-dc__ol_qnf_lkx_rbb} {#log-details-optimized-dc__ul_gvd_skz_ykb} | Traité à 100 % (4) enregistrements, taille de l'objet de résultat : 20 Mo | | La fonction de mappage/réduction se termine. | Fonction de mappage/réduction appliquée | [ ] {#log-details-optimized-dc__table_map-reduce} **Concepts associés** * [Optimiser la collecte de données](https://servicenow-prod.fluidtopics.net/lAPrK8YmdW8MHq~q2iGTcA "Le collecteur de données optimisé Analyse des performances réduit le temps, la mémoire et l’utilisation du processeur pour le traitement de jeux de données volumineux.") **Tâches associées** * [Afficher les journaux des tâches de collecte de données](https://servicenow-prod.fluidtopics.net/eNzPzUWjahhC3uBLV2cP3g "Les journaux des tâches affichent des informations sur les tâches de collecte de données exécutées pour Analyse des performances. Vous pouvez consulter les journaux des tâches, créer des événements et afficher et modifier le registre des événements. La vue de liste affiche toutes les entrées du journal, sauf si elles sont filtrées.")