Commentaire du panel de tests
Lorsque vous testez votre NLU modèle dans la section Essayer le modèle du panneau de test, utilisez cette fonctionnalité pour fournir des commentaires sur les prédictions d’intention du modèle.
Contexte du résumé
Lorsqu’un modèle est entraîné et testé pour un énoncé et que le modèle renvoie une prédiction d’intention, vous pouvez donner une note d’approbation vers le haut ou vers le bas pour l’intention prédite qu’il renvoie. Marquer une prédiction d’intention différente comme correcte ajoute l’énoncé à l’intention corrigée. Tous les autres commentaires sont capturés pour un apprentissage continu. Le système intègre ensuite vos commentaires pour optimiser les prédictions du modèle. Cette fonctionnalité nécessite le rôle nlu_admin pour accéder au modèle et le tester. NLU Les éditeurs peuvent également accéder au panneau de test si un NLU administrateur le leur affecte.
Fournir un commentaire de prédiction
Les évaluations que vous fournissez aident le système à faire correspondre une intention à un énoncé. Ces évaluations sont essentielles pour que le système puisse apprendre, évoluer et améliorer en permanence la précision des prédictions d’intention en fonction de l’entrée de l’utilisateur. Ils vous permettent également de notifier le système si la prédiction d’intention est correcte ou non.
- Dans la phase Créer et former votre modèle de votre modèle, sélectionnez Essayer le modèle pour ouvrir le panneau de test.
- Dans le champ Entrer un énoncé à tester du panneau de test, saisissez un énoncé bref similaire à un énoncé de formation dans l’une des intentions.
- Cliquez sur GO.
Résultat : le système renvoie ses prédictions pour votre énoncé de test dans la section Prédiction(s) principale(s) du panneau de test.
- Cliquez sur l’icône Pouce vers le haut ou Pouce vers le bas .
Si vous voulez que le système sache qu’il a prédit l’intention correcte pour votre énoncé, sélectionnez l’icône Pouce vers le haut .
Dans tous les autres cas, sélectionnez l’icône Pouce vers le bas , qui ouvre la section Fournir des commentaires pour améliorer cette prédiction . Ici, vous pouvez choisir une intention autre que l’intention prédite principale.
Scénario 1 : dans la section Essayer le modèle du panneau de test, vous saisissez aide avec hr comme énoncé. Lorsque les meilleurs résultats de prédiction s’affichent, vous êtes sûr que l’intention prédite correspond correctement à votre énoncé. Donc, dans ce cas, vous cliquez sur l’icône Pouce vers le haut .
- Le système a prédit l’intention correcte, qui dans ce cas est #CreateHRGeneralInquiryCase.
- Vos commentaires informent le système qu’il a fait correspondre l’intention correcte à votre énoncé de test.
Scénario 2 : dans un modèle distinct sur une instance distincte, un utilisateur différent entre le même énoncé help with hr . Le système répond avec les meilleurs résultats de prédiction pour l’intention, mais l’utilisateur n’est pas sûr qu’il s’agisse de l’intention correcte ou non. Cet utilisateur clique donc sur l’icône Pouce vers le bas , comme indiqué dans l’image ci-dessous.
Résultat : le panneau se développe pour afficher la section Fournir des commentaires pour améliorer cette prédiction , dans laquelle les utilisateurs peuvent soumettre des commentaires qui peuvent aider à améliorer la prédiction d’intention.
- Si les utilisateurs cliquent sur le bouton Son intention correcte doit être : , une liste s’affiche dans laquelle ils peuvent choisir une intention plus appropriée pour l’énoncé de test. Dans cet exemple de scénario, un utilisateur sélectionne l’intention Récupérer l’emplacement de travail , comme illustré dans l’image ci-dessous.
- Si vous cliquez sur l’invite Je ne suis pas sûr de savoir quelle est l’intention correcte , au lieu de renvoyer une prédiction principale, le système affiche les meilleures prédictions d’intention disponibles suivantes.
Scénario 3 : dans un modèle distinct sur une instance distincte, un autre utilisateur soumet un énoncé qui utilise du charabia ou utilise une langue différente de celle utilisée par le modèle. Par exemple, un utilisateur soumet par erreur un énoncé composé d’une langue autre que l’anglais et de l’anglais, comme illustré dans l’image ci-dessous.
Résultat : le système ne renvoie pas de prédiction, car l’énoncé utilise deux langues différentes ensemble. Étant donné qu’aucune intention n’a été prévue, l’utilisateur clique sur l’option Saisir un commentaire , ce qui développe la section Essayer le modèle pour afficher d’autres alternatives d’intention.
Scénario 4 : en plus de choisir parmi une liste des intentions de votre modèle pour une prédiction, vous pouvez également notifier directement le système que l’énoncé n’est pas pertinent pour le modèle. Pour ce faire, cliquez sur le bouton Exclure les prédictions de ce modèle pour cet énoncé , puis cliquez sur Enregistrer les changements.
Résultat : une bannière s’affiche en haut de l’écran confirmant que les commentaires des utilisateurs concernant la prédiction sont enregistrés, comme le montre l’image ci-dessous.
Accéder à vos enregistrements de commentaires
Vos données de commentaires sont stockées dans la table ml_labeled_data , qui est également utilisée par d’autres ServiceNow produits. Cette table peut également héberger plusieurs sources, telles que Agent virtuel les journaux de messagerie instantanée, qui peuvent être utilisés pour les prédictions futures.