Test de rubrique LLM

  • Rversion finale: Washingtondc
  • Mis à jour 1 févr. 2024
  • 8 minutes de lecture

    • Prévisualisez, testez et déboguez des rubriques qui utilisent des grands modèles de langage (LLM) dans la fenêtre de Concepteur d'agent virtuel messagerie instantanée.

    Vous pouvez tester les fonctions de votre rubrique en exécutant votre conversation dans une fenêtre de test de messagerie instantanée pendant que vous travaillez. Le client de messagerie instantanée Web (Portail de services) est la fenêtre de test par défaut.

    Les rubriques de modèle de langage volumineux (LLM) sont plus rapides et plus faciles à tester que les Compréhension du langage naturel rubriques (NLU). Par exemple, vous n’avez pas besoin de retester votre rubrique après la mise à jour des énoncés et la reformation des modèles comme pour NLU les rubriques.

    Si vous utilisez les intégrations de Virtual Agent avec des applications de messagerie tierces, les éléments de votre conversation peuvent s’afficher différemment dans les applications de messagerie tierces. Testez vos conversations dans toutes les applications tierces que vous souhaitez déployer Agent virtuel.

    Remarque :
    Si le panneau Microsoft Teamsou Slack l’application est configuré pour votre environnement, les Now Assist options d’aperçu de ces canaux s’affichent dans la liste de boutons Tester. Sélectionnez Aperçu dans le panneau Now Assist, Aperçu dans Microsoft Teams ou Aperçu dans Slack dans la liste pour tester votre rubrique dans ces environnements.

    Test de votre rubrique LLM dans la fenêtre de test de messagerie instantanée

    Figure 1. Options de test LLM
    Vous pouvez trouver des options de test LLM sur le Concepteur d'agent virtuel canevas et sur la page Rubriques.
    Testez les rubriques LLM sur le canevas Concepteur d'agent virtuel en sélectionnant les options Test ou Aperçu dans le panneau Now Assist dans la barre d’en-tête de rubrique.
    Remarque :
    S’il manque du matériel nécessaire à votre rubrique, un badge incomplet s’affiche dans le coin du volet du diagramme de flux. Un badge d’avertissement jaune ou rouge apparaît également à côté de chaque nœud. Le badge incomplet répertorie le nombre total de problèmes, tandis que les badges d’avertissement locaux indiquent combien se trouvent dans chaque nœud. Si vous sélectionnez Tester lorsqu’il y a des problèmes, une fenêtre Problèmes s’ouvre avec le nombre de problèmes présents ainsi que les détails de chaque problème. Ces détails comprennent une description complète et un lien hypertexte vers chaque élément incomplet.

    Vous pouvez également tester les rubriques LLM actives (publiées) sur la page Rubriques. Utilisez le filtre Assistant LLM pour limiter vos rubriques aux rubriques associées à l’assistant, puis sélectionnez Tester les rubriques actives. Si vous n’utilisez pas le filtre Assistant LLM , sélectionnez Tester les rubriques LLM dans le menu déroulant Tester les rubriques actives pour tester les rubriques associées à l’assistant LLM. Pour plus d’informations sur l’assistant LLM, reportez-vous à Assistants LLM.

    La fenêtre de test de messagerie instantanée s’ouvre dans le client Web et affiche des onglets adjacents qui fournissent des détails sur votre rubrique à mesure que vous la testez. Les onglets suivants sont disponibles lors du test des rubriques LLM :

    • Analyser les phrases de test : résultats pour la détection de rubrique en fonction de votre entrée.
    • Détection d’invite : liste de toutes les invites de la rubrique qui sont envoyées au LLM.
    • Variables : liste de toutes les variables utilisées dans la conversation, telles que l’entrée et Agent actif les variables.
    • Modifier les variables : options permettant de modifier les variables utilisées dans cette rubrique.
    • Contexte : options permettant de spécifier le contexte (à l’aide de variables de contexte) dans lequel une rubrique est exécutée.
    • Journaux : liste des traitements effectués.
    Figure 2. Exemple de test LLM, fenêtre de test de messagerie instantanée et onglets de test
    Différents onglets s’affichent en fonction du type de rubrique LLM que vous testez.
    Les onglets suivants s’affichent lorsque vous testez leurs types de rubriques connexes sur le Concepteur d'agent virtuel canevas :
    • Les onglets Analyser les phrases de test, Détection d’invite, Variables et Journaux s’affichent pour tous les types de rubriques LLM.
    • L’onglet Modifier les variables apparaît pour les blocs de rubriques et les contrôles personnalisés.
    • L’onglet Contexte s’affiche pour les rubriques, les rubriques de configuration ou les rubriques de conversation courte lorsque vous sélectionnez Inclure la découverte de rubriques.

    Si vous exécutez des tests à partir de la page Rubriques , la fenêtre de test affiche uniquement les onglets Analyser les phrases de test, Variables, Contexte (disponible par défaut, sans option Inclure la découverte de rubriques ) et Journaux .

    Onglet Analyser les phrases de test

    Lorsque vous testez des rubriques compatibles LLM, les résultats de la détection de rubriques s’affichent en fonction de votre saisie. Lorsque vous saisissez une phrase de test, les résultats de la rubrique pour la détection de compétences, y compris les compétences d’entrée et les compétences de sortie, s’affichent. La sortie finale de découverte de rubrique comprend des évaluations qui décrivent l’exactitude de la rubrique sélectionnée par rapport à votre entrée.

    Figure 3. Exemple : onglet Analyser les phrases de test pour les rubriques LLM
    Onglet Analyser les phrases de test, affichant les résultats des phrases de test pour la détection de compétences, chacune avec des catégories de compétences d’entrée et de compétences de sortie.

    Entrée de détection de compétences Les compétences sont les rubriques LLM recherchées par le Now LLM. Les compétences de sortie de détection de compétences affichent la rubrique la plus susceptible de correspondre à votre phrase de Now LLM test. La barre des compétences de sortie affiche un résultat de confiance sûr, incertain ou inconnu. La rubrique utilisée sous Compétences de sortie affiche un booléen pour correspondre ou ne pas correspondre, ainsi qu’un score en pourcentage. Les variables et les valeurs peuvent également être répertoriées (par exemple, la variable @laptop_make et la valeur macbook), en fonction de la compétence ou du sujet.

    Si la barre des compétences de sortie affiche des résultats médiocres, vous pouvez les améliorer en ajustant la description de votre rubrique et les instructions dans les nœuds de rubrique.

    En outre, lorsque vous testez les rubriques actives de l’assistant LLM à partir de la page Rubriques, vous voyez les résultats des compétences pour la recherche sémantique, y compris les compétences d’entrée et les compétences de sortie. La recherche sémantique analyse les significations et le contexte de vos termes de recherche et utilise ces informations pour trouver des résultats ayant des significations similaires. Il améliore la mémorisation de la recherche en interprétant le langage naturel pour refléter plus précisément l’intention de votre recherche. Si la recherche sémantique est désactivée pour les tests de détection de rubriques, ces résultats ne sont pas affichés. Pour plus d’informations sur la recherche sémantique, consultez Semantic vector search in AI Search.

    Onglet Détection d’invite

    Si votre rubrique contient des invites qui sont envoyées au LLM, elles sont affichées dans deux catégories : Rubriques et Nœuds. La catégorie Rubrique contient le nom et la description de la rubrique elle-même. La catégorie Nœuds répertorie les nœuds d’entrée utilisateur compatibles LLM sur le canevas, leurs noms et types de champs, ainsi que leur contenu.

    Vous pouvez modifier la description de la rubrique, ainsi que le contenu de l’une des invites, afin de développer des invites optimales pour la conversation. L’état de chaque invite commence à l’invite d’origine. Si vous modifiez le contenu d’une invite, son état passe à Invite modifiée et une icône de restauration ( icône Rétablir.) s’affiche à côté de celle-ci. Le nombre total d’invites modifiées est répertorié en bas de l’onglet à côté d’un bouton Enregistrer dans la rubrique . Pour tester les invites modifiées, sélectionnez Appliquer et redémarrer. Pour annuler les changements apportés à une invite, sélectionnez l’icône de restauration en regard de l’invite. Vous pouvez également annuler toutes les modifications en sélectionnant Rétablir qui s’active lorsque vous modifiez des invites.
    Remarque :
    Si vous sélectionnez Enregistrer dans la rubrique, tous les changements sont enregistrés et tous les messages d’invite modifiés sont réinitialisés à l’invite d’origine.
    Figure 4. Exemple d’onglet Détection d’invite
    Onglet Détection d’invite affichant les catégories Rubrique et Nœuds.
    Figure 5. Exemple d’onglet Détection d’invite avec une modification
    Onglet Détection d’invite avec invite modifiée et Enregistrer dans les mises à jour de rubrique. Les options Rétablir, Appliquer et Redémarrer s’activent lorsque vous apportez des modifications.

    Onglet Variables

    L’onglet Variables affiche une liste de toutes les variables utilisées dans la conversation et des valeurs associées, capturées au fur et à mesure que la conversation progresse, afin que vous puissiez la suivre. Une conversation peut comporter les types de variables suivants :
    • Variables d'entrée
    • Variables de script
    • Agent actif variables
    • Variables transmises entre une rubrique d’appel et un bloc de rubriques
    La liste est séparée en sections par types de variables. L’exemple suivant montre la section Variables d’entrée. Notez que pour le contrôle de liste statique, l’étiquette et la valeur d’affichage sont capturées pour le choix sélectionné.
    Figure 6. Exemple de liste de variables d’entrée
    Onglet Variables qui affiche les variables et les valeurs d’entrée, à côté d’une capture d’écran du flux de conversation.

    L’exemple suivant montre la section Variables d’entrée pour le contrôle de liste de groupes. Ces informations de variable sont similaires au contrôle de liste statique, mais les variables sont séparées par chaque groupe du choix groupé.

    Figure 7. Exemple de liste de variables Choix groupé
    Onglet Variables séparé par groupe, avec le nœud et le nom de groupe mis en surbrillance.

    Onglet Modifier les variables

    Lorsque vous testez des rubriques, des blocs de rubriques et des rubriques de conversation courte, vous pouvez modifier les variables trouvées dans les nœuds de la rubrique.

    Modifiez les variables dans les nœuds de la rubrique.

    Onglet Contexte

    L’onglet Contexte s’affiche lorsque vous testez des rubriques, des rubriques de configuration ou des rubriques de conversation courte, afin de spécifier un contexte différent pour la conversation de messagerie instantanée. Choisissez une variable de contexte dans la liste. Les variables contiennent des informations contextuelles qui peuvent être utilisées pour déterminer l’intention de la rubrique ou contrôler la façon dont les messageries instantanées sont acheminées vers les agents actifs. Par exemple, vous pouvez sélectionner un portail dans la liste des variables et saisir le nom du portail IT Express. L’onglet Contexte n’est pas disponible lors de la création de scénarios de tests.

    Pour plus d’informations sur la définition des variables de contexte, reportez-vous à Configurer les variables contextuelles pour le stockage des informations relatives à la messagerie instantanée. Pour plus d’informations sur les variables d’agent actif incluses avec Agent virtuel, consultez Variables de contexte de chat d’agent en direct.

    Figure 8. Exemple d’onglet Contexte
    Onglet Contexte avec la valeur du portail de contexte du portail de services.

    Étapes suivantes

    Lorsque vous avez terminé de tester votre rubrique, fermez la fenêtre de messagerie instantanée de test. Si nécessaire, utilisez les informations du test pour ajuster votre rubrique afin d’obtenir des performances plus précises. Par exemple, les résultats de l’onglet Analyser les phrases de test peuvent renvoyer des scores faibles ou des cotes de confiance incertaines ou inconnues . Améliorez les scores en mettant à jour la description de la rubrique ou les instructions dans les nœuds d’entrée utilisateur compatibles LLM.