Création et gestion de jeux de tests

  • Rversion finale: Washingtondc
  • Mis à jour 5 févr. 2024
  • 5 minutes de lecture
  • Utilisez le jeu de tests par défaut de votre NLU modèle pour tester les performances et la précision du modèle. Gérez votre jeu de tests au fil du temps en créant ou en mettant à jour son contenu dans .Console NLU

    Remarque :
    Pour tester votre modèle, installez l’application ServiceNow® StoreConsole NLU - Fonctionnalités avancées. Pour plus d'informations, consultez Installer Console NLU - Fonctionnalités avancées.
    Lorsque vous créez un NLU modèle pour Agent virtuel ou Recherche IA, un jeu de tests par défaut est créé et associé au modèle. Vous pouvez utiliser le jeu de tests par défaut pour évaluer les performances du modèle. Initialement, le jeu de tests est vide et prêt à être rempli avec votre contenu.

    Accéder à votre jeu de tests par défaut

    Accédez à votre jeu de tests par défaut avec l’une des méthodes suivantes.
    • Accédez à la Tous > Console NLU > Modèles. Sélectionnez l’onglet de l’application de votre modèle, puis le nom de votre modèle dans la liste. Sur la page de vue d’ensemble du modèle, recherchez la carte Créer et former votre modèle et sélectionnez son bouton Afficher la phase . Sélectionnez ensuite l’onglet Jeu de tests . Sur la page de vue d’ensemble du modèle NLU, l’onglet Jeu de tests est mis en surbrillance.
    • Accédez à la Tous > Console NLU > Modèles. Sélectionnez l’onglet de l’application de votre modèle, puis le nom de votre modèle dans la liste. Sur la page de vue d’ensemble du modèle, sélectionnez la vignette Couverture du test . Sur la page de vue d’ensemble du modèle, la vignette Couverture du test est mise en surbrillance.
    • Accédez à la Tous > Test de lot pour modèles multiples > Jeux de tests Onglet. Recherchez le nom de votre modèle. Les jeux de tests par défaut sont étiquetés par défaut.Entrée dans la table Jeux de tests de Multi-model Batch Testing.

    Ajouter du contenu à votre jeu de tests par défaut

    Ajoutez des énoncés et leurs intentions attendues pour créer et gérer votre jeu de tests au fil du temps. Vous pouvez ajouter du contenu au jeu de tests par défaut en utilisant les méthodes suivantes :

    • Ajoutez manuellement des énoncés de test et leurs intentions attendues. À partir de la page de vue d’ensemble du modèle, accédez à Créer et former votre modèle > Jeu de tests Onglet. Saisissez votre entrée dans le champ Saisissez un énoncé de test ici , sélectionnez une intention appropriée, puis sélectionnez le bouton Ajouter .

      Ces énoncés de test sont affectés à une source Manuel.

    • Importez des énoncés de test et leurs intentions attendues à partir d’un fichier CSV ou d’autres modèles. Pour importer du contenu dans un jeu de tests par défaut, à partir de la page de vue d’ensemble du modèle, accédez à Créer et former votre modèle > Jeu de tests Onglet. Sélectionnez Importer les énoncés de test.

      Les énoncés de test importés sont affectés à une source de manuel.

    • La fonctionnalité de boucle de rétroaction d’experts vous permet d’ajouter des énoncés d’utilisateurs réels à partir des journaux de messagerie instantanée à l’ensemble de Agent virtuel tests.

      Ces énoncés de test sont affectés à une source de commentaires d’experts. Pour plus d'informations, consultez NLU Boucle de rétroaction d’experts.

    Couverture du test

    Le score de couverture du test est le pourcentage d’intentions activées d’un modèle qui ont des énoncés de test dans le jeu de tests par défaut. Avant de tester votre modèle, assurez-vous qu’il y a une couverture d’au moins 60 %. Plus le score de couverture du test est élevé, plus les résultats des tests de performances sont précis.

    Votre couverture de test doit être d’au moins 60 %, avec au moins 5 énoncés de test par intention, afin que le système fournisse un seuil de confiance optimal pendant le test par lots. Pour en savoir plus sur le seuil de confiance, reportez-vous à Paramètres du modèle NLU.

    Essayez d’avoir environ 10 % des énoncés de test d’un modèle marqués comme « non pertinents », ce qui signifie qu’il n’y a pas d’intention associée. Cela permet d’évaluer la façon dont le modèle gère les énoncés non pertinents qui ne doivent pas avoir d’intention prévue. Pour plus d’informations sur les énoncés non pertinents, reportez-vous à Détection de non-pertinence dans le NLU.

    Utiliser le jeu de tests

    Pour utiliser le jeu de tests par défaut de la phase Tester et publier votre modèle , reportez-vous à Tester et publier votre modèle.

    Pour utiliser le jeu de tests dans le test de lot pour modèles multiples, reportez-vous à Test de lot pour modèles multiples.

    Caractéristiques des jeux de tests par défaut

    Lorsqu’une instance est mise à niveau, des jeux de tests par défaut sont créés pour tous les modèles existants qui n’en disposent pas déjà.

    Lorsque vous copiez un modèle à l’aide de la commande Dupliquer ce modèle, le jeu de tests par défaut de l’original est copié dans le nouveau modèle. Pour plus d'informations, consultez Dupliquer un modèle NLU.

    Les énoncés du jeu de tests ne doivent pas être les mêmes que les énoncés du jeu de formation.

    Les jeux de tests par défaut ne peuvent pas être supprimés séparément de leurs modèles.

    Les énoncés du jeu de tests doivent être dans la même langue que leur modèle.

    Les jeux de tests sont disponibles pour les modèles OR Agent virtuelRecherche IA .

    Téléchargement ou déplacement de jeux de tests par défaut

    Les jeux de tests par défaut peuvent être téléchargés ou déplacés comme suit.

    • Les jeux de tests par défaut peuvent être téléchargés séparément au format CSV. Pour télécharger le jeu de tests, à partir de la page de vue d’ensemble du modèle, accédez à Créer et former votre modèle > Jeu de tests Onglet. Sélectionnez Télécharger le jeu de tests.
      Remarque :
      Les jeux de tests téléchargés à partir de Télécharger le jeu de tests contiennent des énoncés de test et leurs intentions attendues, mais pas les sources.
    • Les ensembles de tests par défaut peuvent être déplacés avec des ensembles de mises à jour. Lorsque vous ajoutez un NLU modèle à un ensemble de mises à jour, son jeu de tests par défaut est ajouté, y compris les énoncés de test, les intentions attendues et les sources. Pour plus d'informations, consultez Ajouter un modèle NLU à un ensemble de mises à jour.
    • Lors de l’utilisation de la fonction Exporter le modèle en tant que CSV dans la table Tous les modèles existants , le jeu de tests par défaut n’est pas inclus. Pour plus d'informations, consultez Exporter un modèle NLU.