Flux d’évaluation pour les évaluations par lots

  • Rversion finale: Australia
  • Mis à jour 12 mars 2026
  • 5 minutes de lecture

    • L’évaluation par lots permet aux administrateurs Eval d’évaluer jusqu’à 100 conversations d’Agent virtuel terminées à la fois, en fonction d’une requête enregistrée.

    Nom du flux : Exécuter l’évaluation du lot.

    Le flux crée des enregistrements d’évaluation et appelle des Now Assist compétences pour chaque conversation éligible, reflétant la logique d’évaluation de conversation unique, mais à l’échelle. Il applique les exclusions de champ d’application RH, la validation des rubriques/catégories, les règles de construction des transcriptions, les exclusions précoces des agents actifs et la notation asynchrone par compétences.

    Les évaluations des lots sont effectuées selon la logique suivante :

    Déclencheur
    • Table : Jeu d’évaluation [sn_na_conv_eval_evaluation_set]
    • Condition : l’état devient En cours et Type d’évaluation = Conversation
    Entrées
    • Ensemble d’évaluation avec :
      • Filtre de requête : requête qui cible les conversations à évaluer (par exemple, sys_cs_conversation filtres).
      • Type d’évaluation : conversation
      • État : En cours (jusqu’à démarrer)
    • LLM/Skills : classifieur de rubriques de messagerie instantanée, ainsi que les compétences d’évaluation énumérées ci-dessous.
    Comportement de haut niveau
    • Lit le filtre de requête et échantillonne aléatoirement jusqu’à 100 conversations.
    • Ignore les conversations déjà évaluées.
    • Exclut les interactions dans le champ d’application des RH.
    • Utilise le classifieur de rubriques de messagerie instantanée pour valider l’éligibilité à l’évaluation et extrait la rubrique et la catégorie.
    • Crée une transcription avec inclusion contrôlée d’articles et de sources de catalogue, et applique des exclusions précoces d’agents Knowledge actifs.
    • Crée un enregistrement d’évaluation et invoque de façon asynchrone toutes les compétences d’évaluation sélectionnées, en écrivant les scores et la justification des mesures.

    Séquence d’exécution :

    Action 1 : si le filtre de requête n’est pas vide
    • Objet : Clause de garde.
    • Logique : recherchez l’enregistrement de l’ensemble d’évaluation et vérifiez le champ de filtre de requête.
    • Si le filtre de requête est présent : Passez à l’action 2.
    • Si vide : Arrêter et éventuellement journaliser Aucune requête fournie.
    Action 2 : randomiser les conversations
    • Objectif : sélectionnez un échantillon aléatoire et limité de conversations dans la requête fournie.
    • Logique:
      • Exécutez la requête pour obtenir les enregistrements de conversation correspondants.
      • Sélectionnez au hasard jusqu’à 100 conversations.
        • Si >100 correspondent, plafonnez à 100.
        • Si <100, sélectionnez Tout.
      • Validez la requête ; Si elle n’est pas valide, renvoie la valeur Faux et un tableau vide ou partiel.
    • Sorties:
      • Réussite : Vrai/Faux
      • conversation_ids : tableau de sys_ids (max. 100)
    • Si réussite = vrai : Passer à l’action 3 ; Sinon, arrêtez et enregistrez l’erreur de validation.
    Action 3 : Consulter la table d’évaluation pour vérifier l’évaluation précédente
    • Objectif : Éviter les évaluations en double.
    • Logique : pour chaque conversation sys_id, recherchez sn_na_conv_eval_evaluation d’enregistrements existants indiquant qu’elle est déjà évaluée ou en cours (choix d’implémentation : état différent d’Annulé/Échoué).
    • S’il n’a pas été évalué précédemment : Passez à l’action 4 pour cette conversation.
    • S’il a déjà été évalué : ignorez cette conversation ou consignez éventuellement Déjà évalué.
    Action 4 : rechercher l’enregistrement d’interaction
    • Objectif : appliquer l’exclusion du champ d’application RH.
    • Logique : résolvez l’interaction liée à la conversation. Si son périmètre d’application contient hr, ignorez la conversation.
    • Si le champ d’application ne contient pas hr : Passez à l’action 5.
    Action 5 : buildTranscript
    • Objectif : Construire la transcription finale, au niveau de la minute, et déterminer les compétences et les garde-fous en aval.
    • Étapes :
      • Regrouper tous les messages de conversation.
      • Balisez les messages utilisateur en tant que [Utilisateur] : et les messages de Virtual Agent en tant que [Agent virtuel] :
      • Knowledge des articles :
        • Si les résultats Genius font référence à Knowledge des articles, interrogez l’article Knowledge et remplacez l’extrait Genius par le corps entier de l’article.
        • Annoter avec [Virtual Agent] : articles d’aide pour la requête utilisateur : et envelopper le contenu dans Article_Start et Article_End.
        • Contraintes :
          • Si la base de connaissances est incluse dans le périmètre RH ou inaccessible, ne l’évaluez pas (ignorez la conversation).
          • Tronquez le corps de l’article à un maximum de 10 000 mots.
          • Si la source du contenu de la base de connaissances est constituée de fichiers joints (PDF/Word/Txt), revenez au résultat Genius plutôt qu’au contenu complet du fichier.
      • Éléments de catalogue :
        • Si les résultats Genius font référence à des éléments de catalogue, interrogez sc_cat_item et créez une chaîne : nom du catalogue, description brève, description.
        • Annoter avec [Virtual Agent] : choisissez l’une des options ci-dessous et incluez l’ordre de citation.
      • Exclusions des agents actifs :
        • Si le premier message utilisateur demande un agent actif, ignorez l’évaluation.
        • Si un agent actif est invoqué dans les 120 premiers mots, ignorez l’évaluation.
    • Sorties:
      • ExecuteEvaluation : vrai/faux (résultat post-garde-fou)
      • Transcription de la messagerie instantanée
      • Knowledge Articles référencés
      • Éléments de catalogue référencés
      • Première occurrence d’agent actif : Sys_id du message de conversation (le cas échéant)
      • Compétences à invoquer :
        • Évaluation de la messagerie instantanée Coherence
        • Clarté Évaluation de messagerie instantanée
        • Rétention du contexte
        • Remplissage inadéquat des créneaux Évaluation de messagerie instantanée
        • Précision de l’intention Évaluation de la messagerie instantanée
        • Conversation fluide Évaluation de messagerie instantanée
        • Hallucination de véracité Évaluation de messagerie instantanée
      • Journaux supplémentaires
    • Si ExecuteEvaluation = true : Passer à l’action 7 ; Sinon, ignorez la conversation.
    Action 6 : Si bloquer
    • Objectif : création d’une branche vers l’enregistrement.
    • Logique : Si ExecuteEvaluation de l’action 6 est vrai, passez à l’action 8.
    Action 7 : évaluation du classifieur de messagerie instantanée
    • Objectif : valider si la conversation doit être évaluée et extraire des étiquettes de haut niveau.
    • Logique:
      • Créez une transcription légère à partir de sys_cs_message pour l’entrée de classification.
      • Invoquez la compétence de classifieur de rubriques de messagerie instantanée avec la transcription.
      • Recevoir:
        • Exécuter l’évaluation : vrai/faux
        • Nom de la rubrique
        • Catégorie : IT ou RH
    • Si Exécuter l’évaluation = vrai : Passer à l’action 6.
    • Si faux : ignorer la conversation et consigner la décision du classifieur.
    Action 8 : créer ou mettre à jour un enregistrement d’évaluation
    • Objectif : conserver une entrée d’évaluation pour cette conversation.
    • Tableau : sn_na_conv_eval_evaluation
    • Population sur le terrain :
      • Conversation de document : référence de conversation
      • État : traitement
      • Sujet : à partir de l’action 5
      • Catégorie : à partir de l’action 5
      • Base de connaissances référée : à partir de l’action 6
      • Catalogue référencé : à partir de l’action 6
      • Première occurrence d’agent actif : à partir de l’action 6
      • Type : synthèse de la messagerie instantanée
      • Utilisateur : initiateur de la conversation
      • Journal des messages : journaux supplémentaires de l’action 6
    • En cas de réussite : Passez à l’action 9.
    Action 9 : Pour les compétences de boucle
    • Objectif : exécuter chaque compétence d’évaluation sélectionnée.
    • Pour chaque compétence de la liste de l’action 6 :
      • Action 10 : invokeApiDefinition
        • Entrées : nom de la compétence, conversation, transcription, ID d’évaluation
        • Comportement:
          • Invoquez la compétence de Now Assist manière asynchrone.
          • Le post-processeur écrit les résultats dans sys_generative_ai_response_validator.
          • Extraire les champs de réponse JSON :
            • Score
            • Motif du score
            • Exemples à l’appui du raisonnement
          • Créez des enregistrements de mesures enfants dans sn_na_conv_eval_evaluation_metrics liés à l’évaluation parente.
      • Action 11 : Attendre

        Faites une pause de sept secondes avant de passer à la compétence suivante pour gérer les limites de taux ou la limitation.