NLU Boucle de rétroaction d’experts
Fournissez des commentaires sur Agent virtuel les énoncés du journal de messagerie instantanée pour aider le système à apprendre en permanence et à mieux prédire les entrées des utilisateurs.
Utilisation du résumé
La boucle de rétroaction d’experts prend les données de votre instance et vous les fournit pour obtenir des commentaires. Ces données proviennent des journaux de messagerie instantanée d’Agent virtuel (VA) de vos utilisateurs et incluent les énoncés de ces journaux. À l’aide du rôle nlu_admin, accédez à et marquez chaque énoncé dans un modèle en confirmant si l’énoncé est correct (correspondance) ou incorrect (incohérence) avec une intention. Ces commentaires aident le modèle à améliorer continuellement ses performances.
Installation
Boucle de rétroaction d’experts fait partie de l’application Console NLU - Fonctionnalités avancées disponible sur le ServiceNow® Store.
Pour utiliser la boucle de rétroaction d’experts, assurez-vous que le module d’extension Console NLU Fonctionnalités avancées (sn_nlu_workbench) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU - Fonctionnalités avancées et activez Console NLU.
Étant donné que la boucle de commentaire d’experts s’appuie sur les données des journaux de messagerie instantanée VA, assurez-vous que le module d’extension Agent virtuel Glide (com.glide.cs.chatbot) est également actif. Reportez-vous à la section Activer Virtual Agent.
Importation de données de boucle de rétroaction d’experts entre les instances
Avant de commencer une importation, assurez-vous d’avoir accès aux données de votre instance et d’avoir suffisamment de données pour traiter vos commentaires.
Si vous travaillez dans une instance de sous-production, vous devez importer les données de commentaire de la table open_nlu_predict_intent_feedback dans votre instance de production vers votre instance de sous-production. Pour obtenir des conseils sur l’importation, consultez Importation à partir d’une autre instance ServiceNow.
- Si vous déplacez un modèle vers une autre instance, les données des commentaires sont conservées.
- Si vous mettez à niveau l’instance, les données de commentaire sont conservées.
- Si vous clonez une instance, les données ne sont pas conservées. Vous devez donc suivre la procédure référencée ci-dessus pour importer les données dans l’instance clonée.
Contexte et accès au commentaire
La boucle de rétroaction d’experts fournit un mécanisme vous permettant d’améliorer NLU les modèles déployés sur VA grâce aux commentaires que vous fournissez sur un sous-ensemble sélectionné d’énoncés. Pour chaque énoncé, vous êtes invité à confirmer l’intention prédite ou à fournir l’intention correcte à laquelle l’énoncé appartient. Une fois ces commentaires terminés, les données sont utilisées pour ajuster les performances du modèle, ce qui donne un modèle amélioré qui peut maintenant être redéployé pour collecter davantage de données d’utilisateur final. Il s’agit d’un cycle itératif qui permet au système de collecter des données en continu, d’apprendre des commentaires que vous fournissez et d’utiliser ces commentaires pour améliorer davantage vos NLU modèles.
Une fois tous les 30 jours, le système extrait jusqu’à 300 échantillons d’énoncés des journaux de messagerie instantanée VA vers la boucle de rétroaction d’experts. Les énoncés sont sélectionnés pour les commentaires en fonction de la façon dont ils représentent tous les énoncés dans les journaux. Chaque énoncé échantillonné à partir des journaux de messagerie instantanée VA a une intention prédite choisie par le système.
Vous pouvez également définir le nombre d’énoncés que vous souhaitez extraire des journaux de messagerie instantanée VA en ajustant le paramètre de la glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size propriété système.
Vous trouverez de plus amples informations sur le processus d’extraction d’énoncés à partir des journaux de messagerie instantanée VA dans les sections Acquisition de données de commentaires VA supplémentaires sur demande et Utilisation de la tâche d’apprentissage actif ci-dessous.
Lorsque vous examinez les énoncés, décidez si chaque énoncé appartient à son intention prévue ou doit être déplacé vers une intention différente. Si vous n’êtes pas sûr de l’intention correcte, vous pouvez marquer l’énoncé pour le revoir pour un examen plus approfondi. Une fois que vous avez marqué au moins 100 énoncés avec vos commentaires, le système utilise tous les énoncés marqués pour ajuster et améliorer le modèle.
Examen des énoncés du journal de votre messagerie instantanée VA
Maintenant que vous êtes dans la boucle, vous pouvez voir dans l’image suivante une liste d’énoncés NLU qui prennent en charge les intentions dans les modèles VA. Chaque page de la liste affiche environ 20 énoncés par page. Votre objectif est d’examiner chaque énoncé et de marquer son état de relation avec une intention VA donnée. Vous marquez chaque énoncé avec la valeur NLU_Match, Incohérence ou Incertain .
Le marquage d’un énoncé comme NLU_Match signifie que vous êtes d’accord avec la prédiction NLU pour cet énoncé. Le marquage d’un énoncé comme non concordant signifie que l’énoncé appartient à une intention différente, et si vous sélectionnez Non incohérence, une liste déroulante des intentions s’affiche afin que vous puissiez sélectionner l’intention correcte. Si vous n’êtes pas sûr de l’intention correcte, vous pouvez la marquer comme Incertaine.
Les énoncés marqués et enregistrés avec la valeur NLU_Match ou la valeur Incohérence sont déplacés vers la section Révisions terminées . Les énoncés marqués et enregistrés avec la valeur Incertaine sont déplacés vers la section Requiert une revue complémentaire .
- En haut de l’écran Exporter la boucle de rétroaction, sélectionnez un modèle que vous souhaitez examiner dans la boucle de rétroaction d’experts pour l’invite. Dans cette fonctionnalité, d’une certaine manière, le modèle que vous choisissez n’a pas d’importance, car ces modèles servent principalement à abriter les énoncés que vous marquez dans vos avis. Dans cet exemple de scénario, vous décidez de sélectionner le modèle de modèle informatique , qui a cinq intentions et de nombreux énoncés dans chacune de ces intentions. Le nombre d’énoncés que vous devez examiner est affiché à côté du nom de l’intention prévue, comme illustré dans l’image suivante. Les intentions de ces modèles sont répertoriées dans la colonne Intentions prédites de votre écran. Bien que vous puissiez examiner et marquer des énoncés dans n’importe quelle intention prédite, il est préférable de terminer les révisions consécutivement dans l’ordre dans lequel les intentions apparaissent pour la première fois. Par exemple, commencez par l’intention ad_password_change , puis passez à d’autres intentions prévues.
- Cliquez sur l’intention du ad_password_change afin qu’il charge ses énoncés dans la section Tâche pour votre révision.
- Passez en revue les 15 énoncés de l’intention. Dans ce scénario, vous avez commencé par marquer correctement l’énoncé Je souhaite changer mon mot de passe AD comme correspondant à l’intention ad_password_change .
- Cliquez sur Enregistrer le commentaire.Résultat : le système déplace l’énoncé que vous avez marqué vers la section Terminé de l’écran. Dans le même temps, le nombre d’énoncés de tâches passe de 15 à 14, tandis que le nombre de la section Terminé passe de 0 à 1. Si vous aviez également marqué un autre énoncé avec la valeur Incertaine et enregistré cette modification, le nombre d’énoncés dans la section Nécessite une revue supplémentaire passerait également de 0 à 1.Remarque :Si vous ne savez pas quelle intention correspond le mieux à l’énoncé, marquez-la avec la valeur Incertain . Cette action déplace l’énoncé vers la section Requiert une revue complémentaire , ce qui vous donne le temps de marquer d’autres énoncés dans la section Tâche qui peuvent être plus faciles à faire correspondre ou non à une intention. Vous pouvez toujours revenir à la section Requiert un examen supplémentaire pour marquer les énoncés qui sont plus difficiles à épingler à une intention spécifique.
- Répétez les étapes 1 à 4 en parcourant les intentions restantes dans la colonne Intentions prédites .
Les énoncés de l’intention ad_password_change sont faciles à marquer comme correspondant à son intention prédite, car il y a au moins un énoncé dans l’intention qui contient le mot mot mot de passe .
Lorsque vous avez terminé d’examiner les énoncés de l’intention prédite et que vous cliquez sur Enregistrer le commentaire, l’écran s’actualise pour mettre en surbrillance l’intention prédite suivante dans le modèle.
Si vous souhaitez afficher vos énoncés regroupés par leur valeur, cliquez sur le filtre Affichage et sélectionnez l’une des options dans son invite. Les valeurs sont Toutes, NLU_Match et Incertaines.
Utilisation de l’option d’affichage de carte pour examiner vos énoncés
Vos énoncés Boucle de rétroaction d’experts s’affichent par défaut dans la section Tâche d’une vue de liste, comme le montre la plupart des images que vous avez vues ci-dessus. Toutefois, vous pouvez également choisir une vue différente qui montre chaque énoncé encadré dans une carte. Si vous choisissez cette option, chaque énoncé apparaît sur la page par groupes de cinq. Toujours dans la vue de liste, cliquez sur l’icône de carte .
Résultat : la vue de carte remplace la vue de liste. Notez les flèches gauche et droite de chaque côté de la page des cartes d’énoncé. Lorsque vous cliquez sur la flèche droite, la page tourne vers le jeu de cinq cartes suivant. Lorsque vous cliquez sur la flèche gauche, la page de l’ensemble précédent de cinq cartes est tournée. Si vous souhaitez revenir à la vue de liste au lieu de la vue de carte, cliquez sur l’icône de liste comme indiqué dans le coin supérieur droit de l’image ci-dessous.
Modification de la valeur d’un énoncé
Si vous marquez un énoncé, puis changez d’avis sur la valeur que vous avez choisie, vous pouvez résoudre le problème en cliquant sur Non-correspondance et en sélectionnant une autre intention. Cliquez sur Enregistrer le commentaire pour enregistrer la modification.
Commentaire non enregistré
Si vous avez terminé une session de marquage de vos énoncés et que vous vous en êtes déconnecté, mais que vous oubliez d’enregistrer vos modifications, sélectionnez Modifications non enregistrées dans l’invite Affichage . Cette action affiche tous les énoncés pour lesquels vous avez donné des commentaires, mais que vous n’avez pas encore enregistrés.
Obtention de données de commentaire VA supplémentaires sur demande
- Utilisez le rôle nlu_admin et accédez à .
- Cliquez sur Apprentissage actif.
- Cliquez sur Exécuter maintenant.
- Augmentez ou définissez les valeurs dans les quatre NLU propriétés système suivantes.
- glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300
Pour voir comment ces propriétés fonctionnent dans le contexte d’autres NLU propriétés, reportez-vous à la section Propriétés du Console NLU.
Examen des énoncés sans catégorie
Dans le cadre du flux des journaux de messagerie instantanée VA vers la boucle de rétroaction d’experts, le système collecte et affiche dans une liste tous les énoncés dans votre instance qui ne font pas partie d’une intention VA. Vous accédez à ces énoncés en sélectionnant Non classé dans la boucle de rétroaction d’experts pour l’invite en haut de votre écran.
- Dans la colonne Énoncé , sélectionnez un énoncé dans la liste.
- Dans la colonne Intention corrigée , recherchez et sélectionnez une intention et son modèle à partir de l’invite qui, selon vous, correspondent le mieux à l’énoncé.
En ce qui concerne l’image ci-dessus, couvrons quelques éléments qui aident à décrire le fonctionnement de la page d’énoncés non catégorisés, comme suit. La section Tâche rassemble les énoncés qui doivent être liés à une intention. Ce jour-là, nous voyons qu’il y a 120 déclarations de ce type. Notez que la section Terminé à l’écran ne comporte aucun énoncé, car vous n’avez encore effectué aucune action.
Notez également qu’il y a une barre verticale à l’extrême droite de l’écran où vous pouvez faire défiler vers le haut et vers le bas pour naviguer dans la liste des énoncés. En bas de cet écran de défilement, il y a des flèches qui pointent vers la gauche et la droite afin que vous puissiez passer à la page suivante ou précédente de la liste complète des énoncés pour la journée.
Notez également que lorsque vous effectuez une action pour établir une connexion, le bouton Enregistrer les commentaires , normalement actif par défaut, se désactive car le système reconnaît votre action et enregistre automatiquement votre modification.
Données de boucle de rétroaction d’experts dans la phase d’ajustement du modèle
Le bouton Ajuster le modèle de la boucle de rétroaction d’experts est toujours activé et prend en charge l’expérience de déplacement d’énoncés de l’onglet Boucle de rétroaction d’experts terminée vers le modèle et son jeu de tests. Utilisez le rôle nlu_admin pour cliquer sur ce bouton chaque fois que vous avez besoin d’ajuster ou de réajuster votre modèle.
Après avoir examiné les énoncés dans la boucle de rétroaction d’experts, vous pouvez transmettre une partie des données de commentaire au jeu de tests par défaut de votre modèle. Ces énoncés sont ensuite directement ajoutés à l’onglet Tester les énoncés de votre modèle. Cela vous permet de maintenir et de mettre à jour en permanence votre jeu de tests avec des énoncés réels de l’utilisateur final. Le système suit la source des énoncés de test pour savoir s’ils proviennent de la boucle de rétroaction d’experts ou d’une autre source.
Si vous cliquez sur le bouton Ajuster le modèle avant d’avoir marqué et enregistré au moins 100 énoncés, l’écran s’actualise pour vous rappeler que la performance de votre modèle augmente en qualité lorsque vous avez dépassé l’objectif de 100 énoncés de commentaires, comme indiqué dans le texte de l’image ci-dessous.
Au fur et à mesure que vous marquez et enregistrez vos données de commentaires, vous pouvez voir le taux d’énoncés révisés (en vert) et ceux qui sont encore disponibles pour examen (en blanc) sur l’image de la barre de progression ci-dessous.
Utilisation de la tâche Active Learning
Les travaux planifiés, également appelés tâches par lots ou planification par lots, sont des éléments de travail automatisés qui sont effectués à une heure spécifique ou selon un calendrier récurrent. De nombreuses tâches s’exécutent selon des calendriers, mais nous nous concentrons maintenant sur la tâche d’apprentissage actif à titre d’exemple.
- Modifiez l’intervalle de fréquence de répétition avec lequel la tâche d’apprentissage actif sera définie pour s’exécuter.
- Vérifiez quand la prochaine exécution planifiée est définie pour la tâche d’apprentissage actif.
- Exécutez la tâche d’apprentissage actif quand vous le souhaitez (sur demande).
- À l’aide du rôle nlu_admin, accédez au champ Tout et saisissez sysauto_script.list, puis appuyez sur la touche Retour de votre clavier. L’écran s’actualise pour afficher la page Calendrier, qui répertorie tous les travaux planifiés.
- Sur la page Calendrier, cliquez sur Apprentissage actif. Un enregistrement pour la tâche d’apprentissage actif s’affiche, comme illustré dans l’image ci-dessous.
- Sur l’enregistrement d’apprentissage actif, configurez les champs suivants.
- Dans le champ Exécuter , sélectionnez l’une des huit options d’intervalle de répétition pour la tâche. Les options sont les suivantes : Quotidien, Hebdomadaire, Mensuel, Périodique, Un,Sur demande, Calendrier d’entreprise : début de l’entrée et Calendrier d’entreprise : fin de l’entrée.
- Dans le champ Intervalle de répétition , entrez le nombre de jours que vous souhaitez entre maintenant et le prochain intervalle de répétition pour la tâche d’apprentissage actif.
- Dans le champ Démarrage , cliquez sur l’icône Calendrier, puis choisissez le jour et l’heure du prochain intervalle de tâche d’apprentissage actif.
- Cliquez sur le bouton Mettre à jour pour enregistrer vos configurations ou cliquez sur le bouton Exécuter maintenant pour démarrer l’exécution de la tâche d’apprentissage actif.
- Pour vérifier le moment d’exécution de la tâche Active Learning suivante, accédez au champ Tout et saisissez sys_trigger.list, puis appuyez sur la touche Retour de votre clavier. La page Schedule (Calendrier) s’affiche. Cliquez sur Apprentissage actif. L’enregistrement d’élément de calendrier/d’apprentissage actif s’affiche et renseigne le champ Action suivante avec la date et l’heure de la prochaine exécution de la tâche d’apprentissage actif.