NLU Boucle de rétroaction d’experts
Fournissez des commentaires sur Agent virtuel les énoncés du journal de messagerie instantanée pour aider le système à apprendre en permanence et à mieux prédire les entrées des utilisateurs.
Utilisation synthétique
La boucle de rétroaction d’experts prend les données de votre instance et vous les fournit pour commentaires. Ces données proviennent des journaux de messagerie instantanée d’Agent virtuel (VA) de vos utilisateurs et incluent les énoncés de ces journaux. À l’aide du rôle nlu_admin, accédez à et marquez chaque énoncé d’un modèle en confirmant si l’énoncé est correct (correspondance) ou incorrect (incohérence) pour une intention. Ces commentaires aident le modèle à améliorer continuellement les performances du modèle.
Installation
Boucle de rétroaction d’experts fait partie de l’application Console NLU - Fonctionnalités avancées disponible sur le ServiceNow® Store.
Pour utiliser la boucle de rétroaction d’experts, assurez-vous que le module d’extension Console NLU - Fonctionnalités avancées (sn_nlu_workbench) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU : fonctionnalités avancées et activez la console NLU.
Étant donné que la boucle de rétroaction d’experts s’appuie sur les données des journaux de messagerie instantanée VA, assurez-vous que le module d’extension Agent virtuel Glide (com.glide.cs.chatbot) est également actif. Voir Activer l’Agent virtuel.
Importation de données de boucle de rétroaction d’experts entre les instances
Avant de commencer une importation, assurez-vous d’avoir accès aux données de votre instance et de disposer de suffisamment de données pour traiter vos commentaires.
Si vous travaillez dans une instance de sous-production, vous devez importer les données de commentaires de la table open_nlu_predict_intent_feedback de votre instance de production vers votre instance de sous-production. Pour obtenir des conseils sur la façon d’importer, consultez Importation à partir d’une autre instance ServiceNow.
- Si vous déplacez un modèle vers une autre instance, les données de commentaire persistent.
- Si vous mettez à niveau l’instance, les données de commentaire persistent.
- Si vous clonez une instance, les données ne persistent pas, vous devez donc suivre la procédure référencée ci-dessus pour importer les données dans l’instance clonée.
Contexte et accès aux commentaires
La boucle de rétroaction d’experts fournit un mécanisme qui vous permet d’améliorer NLU les modèles déployés sur VA grâce aux commentaires que vous fournissez sur un sous-ensemble sélectionné d’énoncés. Pour chaque énoncé, vous êtes invité à confirmer l’intention prévue ou à fournir l’intention correcte à laquelle l’énoncé appartient. Une fois ces commentaires terminés, les données sont utilisées pour affiner les performances du modèle, ce qui se traduit par un modèle amélioré qui peut maintenant être redéployé pour collecter davantage de données sur l’utilisateur final. Il s’agit d’un cycle itératif qui permet au système de collecter des données en continu, d’apprendre des commentaires que vous fournissez et d’utiliser ces commentaires pour améliorer encore vos NLU modèles.
Une fois tous les 30 jours, le système extrait jusqu’à 300 échantillons d’énoncés des journaux de la messagerie instantanée VA vers la boucle de rétroaction d’experts. Les énoncés sont sélectionnés pour les commentaires en fonction de la façon dont ils représentent tous les énoncés dans les journaux. Chaque énoncé échantillonné à partir des journaux de la messagerie instantanée VA a une intention prévue sélectionnée par le système.
Vous pouvez également définir le nombre d’énoncés que vous souhaitez extraire des journaux de messagerie instantanée VA en ajustant le paramètre de la glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size propriété système.
Vous trouverez plus d’informations sur le processus d’extraction des énoncés à partir des journaux de messagerie instantanée VA dans les sections Obtention de données de commentaires VA supplémentaires à la demande et Utilisation de la tâche d’apprentissage actif, ci-dessous.
Lorsque vous examinez les énoncés, décidez si chaque énoncé appartient à son intention prédite ou s’il doit être déplacé vers une intention différente. Si vous n’êtes pas sûr de l’intention correcte, l’énoncé peut être marqué pour être revisité pour un examen plus approfondi. Une fois que vous avez marqué au moins 100 énoncés avec vos commentaires, le système utilise tous les énoncés marqués pour ajuster et améliorer le modèle.
Examen des énoncés de votre journal de messagerie instantanée VA
Maintenant que vous êtes dans la boucle, vous pouvez voir dans l’image suivante une liste d’énoncés NLU qui prennent en charge les intentions dans les modèles VA. Chaque page de la liste affiche environ 20 énoncés par page. Votre objectif est d’examiner chaque énoncé et de marquer son état de relation avec une intention VA donnée. Vous marquez chaque énoncé avec la valeur NLU_Match, Incohérence ou Incertain .
Le marquage d’un énoncé comme NLU_Match signifie que vous êtes d’accord avec la prédiction NLU pour cet énoncé. Marquer un énoncé comme incohérence signifie que l’énoncé appartient à une intention différente, et si vous sélectionnez Incohérence, une liste déroulante d’intentions s’affiche afin que vous puissiez sélectionner l’intention correcte. Si vous n’êtes pas sûr de l’intention correcte, vous pouvez la marquer comme Incertaine.
Les énoncés marqués et enregistrés avec la valeur NLU_Match ou la valeur Incohérence sont déplacés vers la section Revues terminées . Les énoncés marqués et enregistrés avec la valeur Incertaine sont déplacés vers la section Requiert un examen approfondi .
- En haut de l’écran Exporter la boucle de rétroaction, sélectionnez un modèle que vous souhaitez examiner dans la boucle de rétroaction d’experts pour l’invite. Dans cette fonctionnalité, à certains égards, le modèle que vous choisissez n’a pas d’importance, car ces modèles servent principalement à abriter les énoncés que vous marquez dans vos avis. Dans cet exemple, vous décidez donc de sélectionner le modèle de modèle informatique , qui comporte cinq intentions et de nombreux énoncés dans chacune de ces intentions. Le nombre d’énoncés que vous devez examiner s’affiche à côté du nom de l’intention prévue, comme illustré dans l’image suivante. Les intentions de ces modèles sont répertoriées dans la colonne Intentions prévues de votre écran. Bien que vous puissiez examiner et marquer les énoncés dans n’importe laquelle des intentions prédites, il est préférable de terminer les révisions consécutivement dans l’ordre dans lequel les intentions apparaissent pour la première fois. Par exemple, commencez par l’intention ad_password_change , puis passez aux autres intentions prédites.
- Cliquez sur l’intention ad_password_change afin qu’elle charge ses énoncés dans la section À faire pour votre révision.
- Examinez les 15 énoncés de l’intention. Dans ce scénario, vous avez commencé par marquer correctement l’énoncé Je veux changer mon mot de passe AD comme une correspondance avec l’intention ad_password_change .
- Cliquez sur Enregistrer les commentaires.Résultat : Le système déplace l’énoncé que vous avez marqué dans la section Terminé de l’écran. Dans le même temps, le nombre d’énoncés À faire passe de 15 à 14, tandis que le nombre sur la section Terminé passe de 0 à 1. Si vous aviez également marqué un autre énoncé avec la valeur Incertaine et enregistré cette modification, le nombre d’énoncés dans la section Requiert un examen plus approfondi passerait également de 0 à 1.Remarque :Si vous ne savez pas quelle intention correspond le mieux à l’énoncé, marquez-la avec la valeur Incertaine . Cette action déplace l’énoncé vers la section Requiert une revue supplémentaire , ce qui vous donne le temps de marquer d’autres énoncés dans la section À faire qui peuvent être plus faciles à faire correspondre ou ne pas correspondre à une intention. Vous pouvez toujours revenir à la section Requiert un examen approfondi pour marquer les énoncés qui sont plus difficiles à identifier à une intention spécifique.
- Répétez les étapes 1 à 4 en parcourant les intentions restantes dans la colonne Intentions prévues .
Les énoncés de l’intention ad_password_change sont faciles à marquer comme une correspondance avec son intention prédite, car il y a au moins un énoncé dans l’intention qui contient le mot mot mot de passe .
Lorsque vous avez terminé d’examiner les énoncés de l’intention prévue et que vous cliquez sur Enregistrer les commentaires, l’écran s’actualise pour mettre en évidence l’intention prévue suivante dans le modèle.
Si vous souhaitez afficher vos énoncés regroupés par leur valeur, cliquez sur le filtre Affichage et sélectionnez l’une des options dans son invite. Les valeurs sont Tous, NLU_Match et Incertain.
Utilisation de l’option de vue de carte pour examiner vos énoncés
Vos énoncés de boucle de rétroaction d’experts apparaissent par défaut dans la section Tâche dans une vue de liste, comme illustré dans de nombreuses images que vous avez vues jusqu’à présent ci-dessus. Cependant, vous pouvez également choisir une vue différente qui affiche chaque énoncé encadré dans une carte. Si vous choisissez cette option, chaque énoncé apparaît sur la page par groupes de cinq. Toujours dans la vue de liste, cliquez sur l’icône de carte .
Résultat : la vue de carte remplace la vue de liste. Notez les flèches gauche et droite de chaque côté de la page des cartes d’énoncés. Lorsque vous cliquez sur la flèche vers la droite, il tourne la page vers le jeu de cinq cartes suivant. Lorsque vous cliquez sur la flèche vers la gauche, il tourne la page vers le jeu de cinq cartes précédent. Si vous souhaitez revenir à la vue de liste au lieu de la vue de carte, cliquez sur l’icône de liste comme indiqué dans le coin supérieur droit de l’image ci-dessous.
Modification d’une valeur d’énoncé
Si vous marquez un énoncé mais que vous changez ensuite d’avis sur la valeur que vous avez choisie, vous pouvez résoudre le problème en cliquant sur Incohérence et en sélectionnant une autre intention. Cliquez sur Enregistrer les commentaires pour enregistrer la modification.
Commentaire non enregistré
Si vous avez terminé et déconnecté d’une session de marquage de vos énoncés, mais que vous oubliez d’enregistrer vos modifications, sélectionnez Modifications non enregistrées dans l’invite Affichage . Cette action affiche tous les énoncés pour lesquels vous avez donné des commentaires, mais que vous n’avez pas encore enregistrés.
Obtention de données de commentaires VA supplémentaires sur demande
- Utilisez le rôle nlu_admin et accédez à .
- Cliquez sur Apprentissage actif.
- Cliquez sur Exécuter maintenant.
- Augmentez ou définissez les valeurs dans les quatre NLU propriétés système suivantes.
- glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300
Pour voir comment ces propriétés fonctionnent dans le contexte d’autres NLU propriétés, reportez-vous à la section Propriétés du Console NLU.
Examen des énoncés sans catégorie
Dans le cadre du flux entre les journaux de la messagerie instantanée VA et la boucle de rétroaction d’experts, le système collecte et affiche dans une liste tous les énoncés dans votre instance qui ne font pas partie d’une intention VA. Vous accédez à ces énoncés en sélectionnant Sans catégorie dans la boucle de rétroaction d’experts pour l’invite en haut de votre écran.
- Dans la colonne Énoncé , sélectionnez un énoncé dans la liste.
- Dans la colonne Intention corrigée , recherchez et sélectionnez une intention et son modèle à partir de l’invite qui, selon vous, correspond le mieux à l’énoncé.
En ce qui concerne l’image ci-dessus, couvrons quelques éléments qui aident à décrire le fonctionnement de la page d’énoncés non classifiés, comme suit. La section Tâche collecte les énoncés qui doivent être connectés à une intention. Ce jour-là, nous voyons qu’il y a 120 énoncés de ce type. Notez que la section Terminé à l’écran n’a pas d’énoncés, car vous n’avez encore effectué aucune action.
Notez également qu’il y a une barre verticale à l’extrême droite de l’écran où vous pouvez faire défiler vers le haut et vers le bas pour naviguer dans la liste des énoncés. En bas de cet écran défilant, des flèches pointent vers la gauche et la droite afin que vous puissiez passer à la page suivante ou précédente de la liste complète des énoncés de la journée.
Notez également que lorsque vous effectuez une action pour établir une connexion, le bouton Enregistrer les commentaires , normalement actif par défaut, se désactive car le système reconnaît votre action et enregistre automatiquement votre modification.
Données de boucle de rétroaction d’experts dans la phase Réglage du modèle
Le bouton Ajuster le modèle dans la boucle de rétroaction d’experts est toujours activé et prend en charge l’expérience de déplacement des énoncés de l’onglet Boucle de rétroaction d’experts terminée vers le modèle et son jeu de tests. Utilisez le rôle nlu_admin pour cliquer sur ce bouton chaque fois que vous avez besoin d’ajuster ou de réajuster votre modèle.
Après avoir examiné les énoncés dans la boucle de rétroaction d’experts, vous pouvez transmettre une partie des données de commentaires au jeu de tests par défaut de votre modèle. Ces énoncés sont ensuite directement ajoutés à l’onglet Énoncés de test de votre modèle. Cela vous permet de maintenir et de mettre à jour en permanence votre jeu de tests avec des énoncés réels de l’utilisateur final. Le système suit la source des énoncés de test pour voir s’ils proviennent de la boucle de rétroaction d’experts ou d’une autre source.
Si vous cliquez sur le bouton Ajuster le modèle avant d’avoir marqué et enregistré au moins 100 énoncés, l’écran s’actualise pour vous rappeler que la qualité des performances de votre modèle augmente lorsque vous avez dépassé l’objectif de 100 commentaires d’énoncés, comme indiqué dans le texte de l’image ci-dessous.
Au fur et à mesure que vous marquez et enregistrez vos données de feedback, vous pouvez voir le ratio d’énoncés révisés (en vert) et ceux qui sont encore disponibles pour examen (en blanc) sur l’image de la barre de progression ci-dessous.
Utilisation de la tâche d’apprentissage actif
Les travaux planifiés, également appelés travaux par lots ou planification par lots, sont des éléments automatisés du travail qui sont effectués à une heure spécifique ou selon un calendrier récurrent. De nombreuses tâches s’exécutent selon des horaires, mais nous nous concentrons maintenant sur la tâche d’apprentissage actif à titre d’exemple.
- Changez l’intervalle de fréquence de répétition avec lequel la tâche d’apprentissage actif sera définie pour s’exécuter.
- Vérifiez quand la prochaine exécution planifiée est définie pour la tâche d’apprentissage actif.
- Exécutez la tâche d’apprentissage actif quand vous le souhaitez (sur demande).
- À l’aide du rôle nlu_admin, accédez au champ All (Tout ) et saisissez sysauto_script.list, puis appuyez sur la touche retour de votre clavier. L’écran s’actualise pour afficher la page Calendrier, qui répertorie tous les travaux planifiés.
- Sur la page Calendrier, cliquez sur Apprentissage actif. Un enregistrement de la tâche d’apprentissage actif s’affiche, comme illustré dans l’image ci-dessous.
- Sur l’enregistrement d’apprentissage actif, configurez les champs suivants.
- Dans le champ Exécuter , sélectionnez l’une des huit options Intervalle de répétition pour la tâche. Les options sont : Quotidien, Hebdomadaire, Mensuel, Périodiquement, Un, Sur demande, Calendrier d’entreprise : début de l’entrée et Calendrier d’entreprise : fin de l’entrée.
- Dans le champ Intervalle de répétition , saisissez le nombre de jours souhaité entre maintenant et l’intervalle de répétition suivant pour la tâche d’apprentissage actif.
- Dans le champ Démarrage , cliquez sur l’icône Calendrier et choisissez le jour et l’heure du prochain intervalle de tâche d’apprentissage actif.
- Cliquez sur le bouton Mettre à jour pour enregistrer vos configurations ou cliquez sur le bouton Exécuter maintenant pour démarrer l’exécution de la tâche d’apprentissage actif.
- Pour vérifier quand la tâche d’apprentissage actif suivante s’exécute, accédez au champ All (Tout ) et saisissez sys_trigger.list, puis appuyez sur la touche retour de votre clavier. La page Calendrier s’affiche. Cliquez sur Apprentissage actif. L’enregistrement Élément de calendrier/apprentissage actif apparaît et renseigne le champ Action suivante avec la date et l’heure de la prochaine exécution de la tâche d’apprentissage actif.