Commentaires du panneau de test
Lorsque vous testez votre NLU modèle dans la section Modèle Try du panneau de test, utilisez cette fonctionnalité pour fournir des commentaires sur les prédictions d’intention du modèle.
Contexte de résumé
Lorsqu’un modèle est formé et testé pour un énoncé et que le modèle renvoie une prédiction d’intention, vous pouvez fournir une évaluation « pouce vers le haut » ou « pouce vers le bas » sur l’intention prévue qu’il renvoie. Marquer une autre prédiction d’intention comme correcte ajoute l’énoncé à l’intention corrigée. Tous les autres commentaires sont capturés pour l’apprentissage continu. Le système intègre ensuite vos commentaires pour optimiser les prédictions du modèle. Cette fonctionnalité nécessite le rôle nlu_admin pour accéder au modèle et le tester. NLU Les éditeurs peuvent également accéder au panneau de test si un NLU administrateur les y affecte.
Fourniture de commentaires de prédiction
Les évaluations que vous fournissez aident le système à faire correspondre une intention à un énoncé. Ces évaluations sont essentielles pour que le système apprenne en permanence, évolue et améliore la précision des prédictions d’intention en fonction des entrées de l’utilisateur. Ils vous permettent également de notifier le système si la prédiction d’intention est correcte ou non.
- Dans la phase Créer et former votre modèle de votre modèle, sélectionnez Essayer le modèle pour ouvrir le panneau de test.
- Dans le champ Saisir un énoncé vers le test du panneau de test, saisissez un énoncé bref similaire à un énoncé d’entraînement dans l’une des intentions.
- Cliquez sur GO.
Résultat : le système renvoie ses prédictions pour l’énoncé de votre test dans la section Prédiction(s) principale(s) du panneau de test.
- Cliquez sur l’icône Pouce vers le haut ou Pouce vers le bas .
Si vous voulez que le système sache qu’il a prédit l’intention correcte pour votre énoncé, sélectionnez l’icône Pouce vers le haut .
Dans tous les autres cas, sélectionnez l’icône Pouce vers le bas , qui ouvre la section Fournir des commentaires pour améliorer cette prédiction . Ici, vous pouvez choisir une intention autre que l’intention prédite principale.
Scénario 1 : dans la section Modèle Try du panneau de test, vous saisissez aide avec RH comme énoncé. Lorsque les meilleurs résultats de prédiction s’affichent, vous êtes sûr que l’intention prévue correspond correctement à votre énoncé. Dans ce cas, vous cliquez sur l’icône Pouce vers le haut .
- Le système a prédit la bonne intention, qui dans ce cas est #CreateHRGeneralInquiryCase.
- Vos commentaires notifient au système qu’il a fait correspondre l’intention correcte à votre énoncé de test.
Scénario 2 : dans un modèle distinct sur une instance distincte, un autre utilisateur saisit la même aide avec l’énoncé RH. Le système répond avec les meilleurs résultats de prédiction pour l’intention, mais l’utilisateur n’est pas sûr qu’il s’agit de l’intention correcte ou non. Cet utilisateur clique donc sur l’icône Pouce vers le bas , comme illustré dans l’image ci-dessous.
Résultat : le panneau se développe pour afficher la section Fournir des commentaires pour améliorer cette prédiction où les utilisateurs peuvent soumettre des commentaires qui peuvent aider à améliorer la prédiction d’intention.
- Si les utilisateurs cliquent sur le bouton Son intention correcte doit être : , une liste s’affiche, dans laquelle ils peuvent choisir une intention plus appropriée pour l’énoncé de test. Dans cet exemple, un utilisateur sélectionne l’intention Retrieve Work Location (Récupérer l’emplacement de travail ), comme illustré dans l’image ci-dessous.
- Si vous cliquez sur l’invite Je ne suis pas sûr de l’intention correcte , au lieu de renvoyer une prédiction principale, le système affiche les meilleures prédictions d’intention suivantes.
Scénario 3 : dans un modèle distinct sur une instance distincte, un autre utilisateur soumet un énoncé qui utilise du charabia ou utilise un langage différent de celui utilisé par le modèle. Par exemple, un utilisateur soumet par erreur un énoncé composé à la fois d’une langue autre que l’anglais et de l’anglais, comme illustré dans l’image ci-dessous.
Résultat : le système ne renvoie pas de prédiction, car l’énoncé utilise deux langues différentes ensemble. Étant donné qu’aucune intention n’a été prédite, l’utilisateur clique sur l’option Give feedback (Donner des commentaires ) qui développe la section du modèle Try pour afficher d’autres alternatives d’intention.
Scénario 4 : en plus de choisir parmi une liste des intentions de votre modèle pour une prédiction, vous pouvez également notifier directement le système que l’énoncé n’est pas pertinent pour le modèle. Pour ce faire, cliquez sur le bouton Exclure les prédictions de ce modèle pour cet énoncé, puis cliquez sur Enregistrer les modifications.
Résultat : une bannière apparaît en haut de l’écran pour confirmer l’enregistrement des commentaires de l’utilisateur sur la prédiction, comme illustré dans l’image ci-dessous.
Accès à vos enregistrements de commentaires
Vos données de commentaires sont stockées dans la table ml_labeled_data , qui est également utilisée par d’autres ServiceNow produits. Cette table peut également abriter plusieurs sources, telles que des Agent virtuel journaux de messagerie instantanée qui peuvent être utilisés pour des prédictions futures.