Flux d’évaluation

  • Rversion finale: Australia
  • Mis à jour 12 mars 2026
  • 4 minutes de lecture

    • Workflow pour l’exécution de l’évaluation, qui effectue des évaluations lorsque les conversations sont terminées.

    Les conversations sont évaluées selon la logique suivante :

    1. Capture de conversation :

      Toutes les interactions de l’utilisateur final avec Virtual Agent sont enregistrées dans la table de conversation [sys_cs_conversation]. Lorsqu’un utilisateur met fin à la conversation, l’état de l’enregistrement est mis à jour sur Terminé.

    2. Déclencheur d’évaluation de flux automatisé :

      Nom du flux : Exécuter l’évaluation.

      Condition de déclenchement :
      • Table : Table de conversation [sys_cs_conversation]
      • État : Terminé
      • Type d’appareil : Client web, Slack, Teams, Bot to Bot, Messenger

    Séquence d’exécution :

    Action 0 : vérifiez le nombre d’évaluations pour aujourd’hui
    • Effectuez une requête sur la table d’évaluation et pour obtenir le nombre d’enregistrements.
    • Si le nombre d’enregistrements est inférieur au nombre maximal d’évaluations par jour, passez à l’action 1, sinon mettez fin au flux.
    Action 1 : evalExecuteCondition
    • Invoque l’include de script evalExecuteCondition.executeEvaluation avec référence de conversation.
    • Génère un nombre aléatoire (1 à 100). Ne se déroule que si ≤10 (échantillonnage aléatoire à 10 %).
    • Résultat : renvoie vrai ou faux pour un traitement ultérieur.
    Action 2 : Branche conditionnelle
    • Si vrai : passez à l’action suivante.
    • Si faux : l’évaluation s’arrête.

    Action 3 : rechercher une table d’interaction :

    Associe les métadonnées du canal de conversation à la table d’interaction pour extraire les enregistrements connexes.

    Action 4 : Filtre du périmètre de l’application :

    Si le périmètre de l’application de l’interaction n’inclut pas les RH, continuez.

    Action 5 : buildTranscript :

    Construction de la transcription détaillée :
    • Balises : [Utilisateur] : pour les messages utilisateur, [Agent virtuel] : pour les messages d’Agent virtuel.
    • Pour tout article référencé Knowledge :
      • Extrait le corps complet de l’article pour remplacer le résultat Genius, balisé avec [Agent virtuel] : articles d’aide pour la requête utilisateur : et délimités par Article_Start/Article_End.
      • Si l’article est dans le périmètre RH/inaccessible, ignorez l’évaluation Knowledge .
      • Si le contenu de l’article Knowledge est > 10 000 mots : tronquer à 10 000.
      • Fichiers joints (PDF/Word/Txt) : utilisez plutôt le résultat Genius.
    • Pour les éléments de catalogue référencés :

      Nom de l’extrait, description brève, description, annoté comme [Agent virtuel] : Veuillez choisir l’une des options ci-dessous : avec numéro de citation.

    • Si le premier message est destiné à l’agent actif, ou si l’agent actif est invoqué dans les 120 premiers mots : ignorer l’évaluation.
    Sorties:
    • ExecuteEvaluation (vrai/faux)
    • Transcription de la messagerie instantanée
    • Knowledge Articles ou éléments de catalogue référencés
    • Sys_id de la première invocation d’agent actif (le cas échéant)
    • Liste des compétences à invoquer (toutes les compétences d’évaluation pour le tableau de bord d’évaluation)
    • Journaux d’évaluation supplémentaires

    Action 6 : Branche conditionnelle :

    Si ExecuteEvaluation est vrai : passez à l’action 7.

    Action 7 : évaluation du classifieur de messagerie instantanée
    • Construit la transcription initiale à partir de sys_cs_message.
    • Utilise le classifieur de rubriques de messagerie instantanée pour déterminer :
      • La conversation doit-elle être évaluée ? (ExecuteEvaluation : vrai/faux)
      • Nom de la rubrique
      • Catégorie (IT/RH)
    • Si ExecuteEvaluation est vrai : passez à l’action 6.

    Action 8 : Créer ou mettre à jour l’enregistrement de l’évaluation :

    Créez un enregistrement sur la table d’évaluation [sn_na_conv_eval_evaluation] avec :
    • Document Conversation : référence de conversation
    • État : En cours de traitement
    • Rubrique, catégorie, Knowledge références d’article ou de catalogue, premier agent actif sys_id, type, utilisateur qui a initié, journal des messages

    Action 9 : Pour chaque compétence :

    Répétitions pour chaque compétence marquée dans l’action 6.

    Action 10 : invokeApiDefinition
    • Entrées : nom de la compétence, conversation, transcription, ID d’évaluation
    • Appelle Now Assist l’API de compétence de façon asynchrone.
    • Post-traitement disponible dans sys_generative_ai_response_validator, effectue les analyses suivantes :
      • Score
      • Motif du score
      • Exemples pour le raisonnement
    • Les données analysées sont créées dans la table Mesures d’évaluation [sn_na_conv_eval_evaluation_metrics] (score, motifs, exemples et l’ensemble du raisonnement pour la notation [bloc-notes]).

    Action 11 : Attend 7 secondes avant de passer à la compétence suivante.

    Comportement particulier et gestion des cas limites :
    • Échantillonnage : Seulement 10 % des conversations (choisies au hasard) sont évaluées.
    • Filtre de canal : uniquement Web, Slack, Teams, bot à bot, Messenger.
    • Périmètre de l’application : exclut les enregistrements avec _hr_ dans le périmètre.
    • Knowledge contrôles d’article : aucune évaluation pour RH ou inaccessible. Knowledge , les limites de taille des Knowledge articles et la gestion des fichiers.
    • Première invocation d’agent actif : exclut les conversations acheminées vers l’agent actif au début ou dans les 120 mots.
    • La compétence Achèvement de la demande est ajoutée dans le cadre d’une règle métier où le score est marqué comme le plus bas entre Remplissage d’emplacement et Intention.
    • Le motif inscrit au dossier est ajouté comme suit :
      if (Slot filling score > Intent score) {
Intent reason is used
} else if (Slot filling score < Intent score) {
Slot filling reason is used
} else {
Both are used
}