Test de lot pour modèles multiples
Testez plusieurs Compréhension du langage naturel modèles (NLU) par rapport à un grand ensemble d’énoncés pour évaluer les performances des modèles. Ajoutez des jeux de tests, testez plusieurs modèles et consultez les résultats des tests.
Utilisation du résumé
Utilisez le test par lots pour modèles multiples pour créer et charger des jeux de tests composés d’énoncés et de leurs intentions attendues. Vous pouvez ensuite exécuter des tests sur vos modèles NLU.
Le test par lots pour modèles multiples fonctionne avec des modèles pour toutes les langues NLU prises en charge. Consultez NLU Prise en charge de la langue.
Installation
Le test par lots pour modèles multiples fait partie de l’application Console NLU - Fonctionnalités avancées disponible sur le ServiceNow® Store.
Pour utiliser le test de lot pour modèles multiples, assurez-vous que le module d’extension Console NLU - Fonctionnalités avancées (com.snc.nlu.workbench.advanced) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU - Fonctionnalités avancées et activez la console NLU.
Jeux de tests
Les jeux de tests sont des listes d’énoncés et d’intentions correspondantes. Créez un jeu de tests à l’aide d’une table dans un fichier CSV ou XLSX (classeur Excel). La table doit contenir deux colonnes : une pour les énoncés et une pour l’intention attendue. Votre jeu de tests peut inclure jusqu’à 10 000 lignes.
Pour tirer le meilleur parti du test de vos modèles NLU, vos jeux de tests doivent inclure des énoncés que le modèle est susceptible de rencontrer de la part de vos utilisateurs. Les énoncés de test doivent être dans la même langue que le modèle à tester. Le jeu de tests doit également inclure des énoncés sans intention attendue. Inclure des énoncés sans intention attendue permet d’évaluer la capacité de votre modèle à détecter les énoncés qui ne sont pas pertinents et qui ne devraient pas avoir d’intention prévue.
Pour créer un jeu de tests, reportez-vous à Créer un jeu de tests.
Une fois que vous avez un jeu de tests, vous pouvez tester les modèles NLU entraînés. Pour commencer le test, reportez-vous à Exécuter un test par lots multi-modèles.
Après avoir exécuté un test, vos résultats apparaissent sur la page Résultats du test .
Résultats des tests
La page Résultats des tests répertorie vos tests terminés et en cours. La page de résultats affiche en un coup d’œil les modèles testés, le nombre d’énoncés et les pourcentages de prédiction.
Pour afficher les détails d’un résultat de test, cliquez sur le nom du jeu de tests.
La page Vue d’ensemble affiche des informations récapitulatives sur les résultats et comprend un graphique avec une répartition des prédictions.
Les intentions à surveiller (modèle actuel) montrent les 5 premières intentions manquées et incorrectes. Cliquez sur le nom de l’intention pour analyser les énoncés de test qui ont été mal prévus. Utilisez ces informations pour améliorer le modèle.
L’onglet Résultats détaillés répertorie les informations relatives à chaque énoncé ayant été testé. À partir d’ici, vous pouvez voir le résultat de prédiction et la fiabilité par modèle pour chaque énoncé. Filtrez les résultats à l’aide de la barre de recherche ou en interagissant avec les outils de filtrage et les en-têtes de colonne.
Vous pouvez également exporter les résultats des tests vers un fichier CSV en cliquant sur Exporter. Le fichier comprend les mêmes colonnes que la page de résultats détaillés.
Pour en savoir plus sur la compréhension des résultats de vos tests, reportez-vous à Tester et publier votre modèle.