Surveillez l’état d’une exécution d’évaluation active pour détecter les erreurs à un stade précoce et confirmer quand les résultats sont prêts à être examinés.
Avant de commencer
Vous devez avoir une exécution d’évaluation active pour effectuer la surveillance. Pour plus d’informations sur la création d’exécutions d’évaluation, consultez Exécuter une exécution d’évaluation agentique.
Rôle requis : admin
Pourquoi et quand exécuter cette tâche
Les évaluations agentiques peuvent prendre du temps, en particulier pour les ensembles de données volumineux. Le suivi de la progression vous permet d’identifier rapidement les problèmes et de déterminer quand les résultats sont prêts à être examinés.
Procédure
-
Accédez à la .
-
Sélectionnez une évaluation avec un état pouvant être suivi.
Vous trouverez les évaluations à suivre à deux endroits :
- Section Vue d’ensemble rapide : Les évaluations récentes en cours s’affichent dans la carte Évaluations en cours
- Section Évaluations automatisées : toutes les évaluations, y compris les plus anciennes
Les évaluations que vous pouvez suivre ont un Run status de En cours ou Action nécessaire.
-
Sélectionnez l’évaluation que vous souhaitez surveiller.
La page détaillée du suivi de l’évaluation s’ouvre, affichant l’état actuel et des informations sur la progression.
- Facultatif :
Si l’état est Action nécessaire, examinez les journaux d’exécution générés.
La raison la plus courante du statut Action requise est lorsque des journaux d’exécution ont été générés mais nécessitent une approbation avant que la phase d’évaluation puisse commencer.
-
Examinez les artefacts de l’ensemble de données pour comprendre comment l’IA agentique s’est comportée sur des enregistrements spécifiques.
Vous pouvez ouvrir des incidents individuels ou d’autres enregistrements pour voir comment l’actif IA agentique a interagi avec eux pendant le test.
-
Sélectionnez les enregistrements d’exécution pour afficher des informations détaillées sur les performances.
Cela ouvre les détails de l’exécution dans Studio d'agents IA, où vous pouvez revoir la conversation complète entre l’utilisateur simulé et l’IA agentique, y compris le raisonnement et le traitement des messages des agents et des outils.
-
Passez en revue les enregistrements et les horodatages de conversation pour comprendre le flux d’interaction.
La phrase de démarrage et les enregistrements de conversation fournissent des informations détaillées sur la façon dont l’agent IA a interagi avec l’utilisateur simulé, y compris l’horodatage de chaque message.
- Facultatif :
Si vous avez examiné les journaux d’exécution et qu’ils répondent à vos attentes, commencez la phase d’évaluation en sélectionnant Démarrer l’évaluation.
Une fois que vous avez approuvé les journaux, la phase d’évaluation et de notation LLM commence. Cette phase analyse les journaux d’exécution et fournit des scores quantitatifs pour les performances de l’agent IA.
L’état de l’évaluation devient En cours et l’évaluation LLM commence.
- Facultatif :
Surveillez l’avancement de la phase d’évaluation LLM.
Au cours de cette phase, vous pouvez suivre :
- Nombre d’enregistrements évalués
- Durée restante estimée
- Erreurs ou avertissements survenus pendant l’évaluation
- Facultatif :
Vérifiez les notifications d’achèvement ou les mises à jour de statut.
Une fois l’évaluation terminée, l’état devient Terminé et les résultats peuvent être examinés.
Résultats
Vous pouvez surveiller la progression de l’évaluation et prendre des mesures si nécessaire. Une fois l’évaluation terminée avec succès, vous pouvez examiner les résultats détaillés pour comprendre les performances de votre IA agentique.
Que faire ensuite
Une fois l’évaluation terminée, examinez les résultats pour identifier les domaines à améliorer dans votre configuration d’IA agentique. Pour plus d’informations sur l’analyse des résultats d’évaluation, voir Examiner les résultats d’une évaluation agentique.