Explorer les évaluations agentiques
Les évaluations automatisées testent vos actifs d’IA agentique et aident à déterminer quand ils sont prêts pour la production. Apprenez-en davantage sur le fonctionnement des évaluations, les personnes à qui elles s’adressent et les avantages qu’elles offrent.
Vue d’ensemble des évaluations agentiques
Les évaluations agentiques automatisées permettent aux créateurs d’agents IA de déployer en toute confiance des preuves objectives et explicables que leurs agents sont prêts pour la production. Ils éliminent les conjectures de l’assurance qualité en exécutant votre agent sur un ensemble de données défini et en appliquant des juges alimentés par LLM pour évaluer la qualité, comme l’exhaustivité des tâches, la précision des réponses et l’utilisation des outils. À partir de là, le système génère des optimisations recommandées que vous pouvez appliquer avant de déclencher une réévaluation pour confirmer les améliorations.
La création d’actifs IA agentiques tels que des agents IA et des workflows agentiques est un processus itératif. Les évaluations agentiques sont conçues pour vérifier la qualité de l’actif IA de manière structurée afin d’accélérer le processus. Étant donné que vous effectuez des tests par rapport à des ensembles de données représentatifs, vous pouvez avoir plus confiance dans les performances de votre actif d’IA agentique pour gérer les situations du monde réel.
Les évaluations agentiques peuvent être exécutées dans des environnements de non-production et ne nécessitent pas de déploiement en direct. Ils peuvent être exécutés pendant les phases de test des actifs d’IA agentique afin de s’assurer qu’ils peuvent être déployés dans un environnement de production tout en respectant vos points de référence et normes.
Utilisateurs des évaluations agentiques
| Utilisateur | Description |
|---|---|
| Générateur d’agent | Développeur ou configurateur qui crée des agents dans Studio d'agents IA. Les évaluations automatisées sont conçues pour permettre aux Agent Builders d’exécuter des évaluations rigoureuses à grande échelle. |
| Administrateurs de plateforme | Les administrateurs de plateforme qui déterminent quels agents sont approuvés pour la production peuvent utiliser les résultats de l’évaluation automatisée comme preuve de qualité avant le déploiement. |
| Responsables et architectes IA | Les responsables et les architectes IA peuvent utiliser les résultats d’évaluation automatisés pour les pistes d’audit et les mesures de qualité sur plusieurs agents. |
Workflow des évaluations automatisées
- Configurez une exécution d’évaluation avec un nom, un actif IA agentique sélectionné et sa version, des mesures et un ensemble de données.
- Exécutez l’exécution et suivez la progression pendant que le LLM juge les réponses agentiques.
- Analysez les résultats de la course, y compris les scores des juges et les problèmes et traces identifiés.
- Optimisez l’actif IA agentique avec des recommandations ciblées, puis déclenchez des réévaluations.
- Validez la qualité des exécutions futures ou d’autres changements apportés à l’actif IA agentique.
Avantages des évaluations automatisées
| Avantage | Fonctionnalité | Utilisateurs |
|---|---|---|
| Évaluer la qualité de versions spécifiques des actifs d’IA agentique | Exécuter une exécution d’évaluation | Générateurs d’agents |
| Définissez vos propres normes en matière de réponses et de performances de l’IA agentique | Mesures personnalisées | Constructeurs d’agents, administrateurs de plateforme, responsables IA et architectes |
| Suivre les évaluations au fur et à mesure de leur progression | Résultats en cours | Générateurs d’agents |
| Identifiez les problèmes et tracez-les jusqu’à la source. | Résultats de l’évaluation | Constructeurs d’agents, responsables IA, architectes IA |
| Optimiser les actifs de l’IA agentique en fonction des résultats d’évaluation | Recommandations d’optimisation générées par le système | Générateurs d’agents |