NLU Performance du modèle
Utilisez NLU Performance du modèle pour voir dans quelle mesure vos modèles prédisent les intentions dans Agent virtuel (VA) en fonction de la confirmation de l’utilisateur final.
Utilisation synthétique
L’application NLU Performance des modèles fournit une analyse et un rapport sur la façon dont vos NLU modèles prédisent les intentions des utilisateurs VA à partir de leurs énoncés. Au fur et à mesure que NLU les modèles de VA sont mis à jour, publiés et déployés, vous pouvez utiliser NLU les performances des modèles pour examiner l’efficacité des prédictions d’intention qu’ils effectuent. Si ces prédictions sont ignorées, c’est qu’elles sont incapables de prédire une intention avec un score de confiance suffisamment élevé pour le modèle. Pour améliorer la prédiction de rubriques VA, le système regroupe les énoncés VA non pris en charge dans des grappes pour une analyse, puis génère un rapport qui identifie le résultat de l’analyse.
Pour accéder à cette application, utilisez le rôle de nlu_admin ou d’administrateur et accédez à .
Installation
NLU Model Performance est une application disponible sur le ServiceNow® Store. Pour utiliser cette application, assurez-vous que le module d’extension Console NLU - Fonctionnalités avancées (sn_nlu_workbench) est actif sur votre instance. Pour plus d’informations, consultez Installer Console NLU : fonctionnalités avancées et activez la console NLU. Étant donné que les performances des modèles NLU dépendent des données provenant d’Agent virtuel, assurez-vous que le module d’extension Agent virtuel Glide (com.glide.cs.chatbot) est également actif. Voir Activer l’Agent virtuel.
Configuration des paramètres Interfaces conversationnelles pour ServiceNow NLU
Pour vous faciliter le suivi des NLU performances, vous devez d’abord configurer les paramètres Interfaces conversationnelles (CI) dans Agent virtuel. Pour accéder à ces paramètres, naviguez vers le haut de la page de destination NLU Model Performance for Virtual Agent et cliquez sur Paramètres Interfaces conversationnelles. Cette action vous dirige vers la page des paramètres de CI dans Agent virtuel, comme illustré dans l’image ci-dessous.
Pour configurer les paramètres, vous devez utiliser le rôle virtual_agent_admin ou administrateur. Pour obtenir des conseils de configuration, consultez Implémenter la NLU dans l’Agent virtuel et Activer les langues NLU dans les paramètres de l’Agent virtuel.
Examen de l’interface utilisateur
- L’onglet Performances et son graphique coloré qui affiche les données décrivant les scénarios qui se produisent lorsque les utilisateurs interagissent avec VA. Ce graphique est segmenté en nuances de trois couleurs, chacune représentant un scénario utilisateur. Les lignes du graphique qui comportent du texte et des pourcentages sont appelées la légende. Les trois scénarios de la première ligne de la légende ont deux scénarios d’issue en dessous d’eux dans la deuxième ligne. Les barres sous la légende correspondent aux couleurs des scénarios au-dessus d’elles. La taille de ces barres varie en fonction de la valeur en pourcentage pour chaque scénario.
- Par exemple, la barre bleu foncé vous montre que 10 % de ce lot d’utilisateurs VA ont confirmé que le système leur a présenté la rubrique correcte à utiliser pour leur conversation avec le chatbot VA, et que 58 % des utilisateurs (représentés par la barre rouge foncé) ont confirmé que la rubrique qui leur a été présentée était incorrecte. Entre ces deux scénarios se trouve un scénario montrant que 32 % des utilisateurs (représentés par la barre marron foncé) n’ont fait aucune confirmation.
- Il est judicieux d’activer/désactiver le filtre Afficher toutes les barres à tout moment pour afficher ou masquer les barres colorées et leurs scénarios associés dans le graphique. Notez également que lorsque vous accédez pour la première fois aux performances du modèle NLU, la vue par défaut du graphique affiche uniquement la première rangée de scénarios et la première ligne de barres.
- Il existe également d’autres vues que vous pouvez voir en fonction du scénario que vous regardez. Par exemple, lorsque vous accédez pour la première fois aux performances du modèle NLU et que vous cliquez sur un scénario dans la première ligne de la légende, le système masque les barres des deux autres scénarios. Cela permet de garder l’interface utilisateur moins encombrée car elle isole partiellement le scénario sur lequel vous vous concentrez du reste des scénarios. Ces actions ne modifient aucune donnée, elles vous montrent simplement différentes vues de la légende et des barres dans le graphique.
- Onglet Énoncés non pris en charge , qui affiche les énoncés regroupés en grappes à utiliser dans l’analyse des performances. Cette section de l’interface utilisateur est l’endroit où vous pouvez naviguer et revenir de l’application Boucle de rétroaction d’experts, ainsi que l’endroit où vous pouvez exécuter l’analyse.
Les énoncés non pris en charge sont différents des énoncés non pertinents. Pour plus d'informations, consultez Détection de non-pertinence dans NLU.
- La section Performance Details (Détails des performances ) située sous l’histogramme. Cette section comporte les quatre colonnes suivantes : Énoncé, Intention prévue, Modèle de prédiction et Résultat de prédiction. Les détails affichés dans cette section interagissent avec les données de légende et les données à barres au-dessus d’eux.
Examen des scénarios d’utilisateurs VA
Dans la section légende de l’interface utilisateur, le texte et les pourcentages sont accompagnés d’icônes d’informations. Pointez sur une icône pour appeler la définition de son scénario utilisateur. Consultez le tableau ci-dessous pour voir les définitions.
| Scénario | Définition |
|---|---|
| L'utilisateur a confirmé comme correct | La rubrique correcte a été présentée à l’utilisateur final et l’utilisateur final a confirmé qu’elle est correcte. |
| Rubrique lancée ; l'utilisateur a confirmé comme correcte | La rubrique a été lancée et l'utilisateur a confirmé qu'il s'agit de la rubrique dont il a besoin. |
| Menu de rubrique présenté. L'utilisateur en a sélectionné une. | Plusieurs rubriques ont été affichées à l'utilisateur sous forme de menu et l'utilisateur a choisi l'une des rubriques pour répondre à son besoin. |
| L'utilisateur n'a pas confirmé. | La rubrique a été lancée, mais l'utilisateur n'a pas confirmé si elle répond à ses besoins ou pas. |
| Aucune prédiction faite, rubrique de secours lancée | Aucune prédiction n'a été effectuée et la rubrique de secours a été lancée. |
| Rubrique lancée, aucune confirmation de l'utilisateur | La rubrique a été lancée, mais l’utilisateur n’a pas confirmé si elle était correcte. |
| L'utilisateur a confirmé comme incorrect | La ou les rubriques présentées ne répondent pas aux besoins de l’utilisateur final et l’utilisateur a confirmé qu’elle est incorrecte. |
| Rubrique lancée ; l'utilisateur a confirmé comme incorrecte | La rubrique a été lancée et l'utilisateur a confirmé qu'elle n'est pas correcte. |
| Menu de rubrique présenté. L'utilisateur n'en a sélectionné aucune. | Plusieurs rubriques ont été affichées sous la forme d'un menu pour l'utilisateur. L'utilisateur a décidé qu'aucune des rubriques n'était pertinente et n'a choisi aucune rubrique. |
Utilisation des filtres Langue et Modèle
Dans l’onglet Performances, vous pouvez voir les filtres Langue et Modèle. À côté d’eux, vous pouvez également voir les valeurs de plage de dates les plus récentes que vous avez définies au-dessus de la légende et des barres du graphique. Cliquez sur le filtre Langue pour afficher toutes les langues disponibles dans NLU. Cliquez sur le filtre Modèle pour afficher tous les modèles de prédiction disponibles dans votre instance. Le paramètre par défaut du filtre Langue est Toutes les langues et le paramètre par défaut du filtre Modèle est Tous les modèles.
Les filtres Langue et Modèle interagissent les uns avec les autres. Par exemple, si vous choisissez French-fr dans le filtre Langue , le filtre Modèle affiche automatiquement tous les modèles de prédiction de votre instance qui utilisent la langue française, comme illustré dans l’image suivante.
- Si vous sélectionnez un modèle spécifique dans le filtre Modèle , la valeur du filtre Langue est mise à jour pour afficher la langue du modèle sélectionné.
- Si vous sélectionnez une langue spécifique dans le filtre Langue , le filtre Modèle affiche uniquement les modèles de cette langue sélectionnée.
Définition de la plage de dates
Dans l’onglet Performances, utilisez la plage de dates pour définir la date à partir de laquelle vous souhaitez que le système extrait les données VA. Choisissez 30 derniers jours, 60 derniers jours, 90 derniers jours ou Plage personnalisée. Plus vous remontez dans la plage de dates, plus vous aurez de données dans votre analyse.
Exécution d’une analyse
Pour exécuter une analyse des performances, cliquez sur l’onglet Énoncés non pris en charge . Cette section de l’interface utilisateur affiche les lignes de grappes extensibles contenant des énoncés VA pour NLU lesquels aucune prédiction de rubrique n’a été effectuée ou pour lesquelles l’utilisateur final VA a confirmé que la rubrique prédite était incorrecte. La prochaine chose que vous voulez faire est de cliquer sur Boucle de rétroaction d’experts. Cette action vous dirige vers l’application NLU Boucle de rétroaction d’experts où vous examinez et fournissez des commentaires sur les énoncés qui ont été extraits de VA.
Lorsque vous quittez l’application Boucle de rétroaction experte et revenez à NLU Model Performance, cliquez sur l’icône du caret dans n’importe quel cluster pour l’ouvrir. Au sein de la grappe, vous pouvez alors voir les énoncés VA les plus représentatifs, comme illustré dans l’image suivante.
Cliquez sur Exécuter l’analyse ou Réexécuter l’analyse, selon ce qui est disponible. Chaque fois que vous exécutez une analyse, le système intègre les énoncés VA les plus récents dans l’analyse.