Évaluez les performances globales de votre agent à la fin d’une exécution, y compris les scores par mesure et le nombre de problèmes. Utilisez les résultats comme point de départ pour diagnostiquer les problèmes de qualité et les opportunités d’amélioration avant le déploiement.
Avant de commencer
Vous devez avoir terminé l’évaluation agentique.
Rôle requis : sn_aia.admin ou admin
Pourquoi et quand exécuter cette tâche
Les évaluations automatisées incluent des scores et des recommandations sur les différentes mesures que vous avez choisies. Chaque sortie fournit des informations que vous pouvez utiliser pour prendre des décisions sur le développement et le déploiement de l’actif d’IA agentique. Les résultats de l’évaluation vous aident à identifier les schémas de performances, les problèmes de qualité et les opportunités d’optimisation avant de déployer votre agent en production.
Procédure
-
Accédez à la .
-
Sélectionnez l’évaluation automatisée dont vous souhaitez examiner les résultats.
La page des détails de l’évaluation s’ouvre et affiche les résultats globaux et les mesures de performances.
-
Passez en revue la section Résumé de l’évaluation pour comprendre la performance globale.
Le résumé fournit une vue d’ensemble de haut niveau des performances de votre agent sur toutes les mesures évaluées. Les informations clés sont les suivantes :
- Informations sur les actifs IA agentique telles que le nom et la version
- Nombre total de scénarios de tests évalués
- Scores moyens pour toutes les mesures
- Nombre de problèmes identifiés par niveau de gravité
-
Passez en revue les scores globaux jugés par LLM pour chaque mesure.
Les scores généraux évalués par LLM pour chaque mesure présentent des schémas et des tendances généraux entre les mesures que vous avez évaluées. Ces scores fournissent des recommandations générales pour le déploiement en fonction de la version actuelle de l’actif IA agentique. Les résultats détaillés comprennent :
- Score numérique
- Évaluation des performances (excellente, bonne, modérée ou mauvaise)
- Évaluations des dossiers individuels
-
Examinez tous les problèmes et leurstraces associées.
Si des problèmes sont détectés avec les performances de l’actif IA agentique, ils sont classés par niveau de gravité, mesure et cas d’utilisation. Les problèmes peuvent être retracés jusqu’à leurs sources dans des interactions spécifiques, appelées « traces ». Examinez les problèmes et leurs traces pour diagnostiquer les problèmes sous-jacents. Les problèmes sont classés par niveau de gravité :
- Critique : problèmes qui peuvent empêcher l’agent de fonctionner correctement, entraînant une mauvaise expérience utilisateur
- Élevé : problèmes importants qui ont un impact sur l’expérience utilisateur ou la précision
- Moyen : problèmes modérés qui peuvent affecter les performances dans certains scénarios
- Faible : problèmes mineurs ayant un impact minimal sur la fonctionnalité globale
-
Appliquez les optimisations en fonction des résultats.
L’évaluation automatisée peut inclure des optimisations recommandées pour résoudre les problèmes trouvés dans l’évaluation. Une fois l’optimisation appliquée, vous pouvez réexécuter l’évaluation pour voir les changements de comportement et de performances. Suivez les améliorations en comparant les résultats des différentes exécutions d’évaluation.
Résultats
Vous disposez d’un examen complet des performances de votre agent pour toutes les mesures évaluées. Utilisez ces informations pour prendre des décisions éclairées sur la préparation au déploiement ou identifier les domaines nécessitant un travail de développement supplémentaire.