LLM-Themen zum Testen

  • Freigeben Version: Xanadu
  • Aktualisiert 1. August 2024
  • 8 Minuten Lesedauer

    • Zeigen Sie im Chatfenster Virtual Agent-Designer eine Vorschau von Themen an, testen und debuggen Sie Themen, die große Sprachmodelle (LLMs) verwenden.

    Sie können die Funktionen Ihres Themas testen, indem Sie Ihre Konversation während der Arbeit in einem Chattestfenster ausführen. Der Webchat-Client (Serviceportal) ist das Standardtestfenster.

    LLM-Themen (Large Language Model) sind im Vergleich zu Natural Language Understanding (NLU)-Themen schneller und einfacher zu testen. Beispielsweise müssen Sie Ihr Thema nicht wie bei NLU -Themen nach dem Aktualisieren von Äußerungen und dem erneuten Trainieren von Modellen erneut testen.

    Wenn Sie die Virtual Agent-Integrationen mit Messaging-Apps von Drittanbieternverwenden, werden Elemente in Ihrer Konversation in Messaging-Anwendungen von Drittanbietern möglicherweise anders angezeigt. Testen Sie Ihre -Konversationen in allen Drittanbieteranwendungen, in denen Sie Virtual Agentbereitstellen möchten.

    Hinweis:
    Wenn der Bereich Now Assist oder die Anwendung Microsoft Teams für Ihre Umgebung konfiguriert ist, werden Vorschauoptionen für diese Kanäle in der Liste der Test-Schaltflächen angezeigt. Wählen Sie in der Liste Vorschau im Now Assist-Bereich oder Vorschau in Microsoft Teams aus, um Ihr Thema in diesen Umgebungen zu testen.

    Ihr LLM-Thema wird im Chattestfenster getestet

    Abbildung : 1. LLM-Testoptionen
    LLM-Testoptionen finden Sie auf der Canvas Virtual Agent-Designer und auf der Seite „Themen“.
    Testen Sie LLM-Themen im Canvas Virtual Agent-Designer, indem Sie mit den Testoptionen in der Themen-Header-Leiste arbeiten. Beim Testen von einem einzelnen Thema aus muss die Option Themen-Discovery einschließen ausgewählt werden, um mit den Assistenten arbeiten zu können. Wenn das Thema mehreren LLM-Assistenten zugeordnet ist, verwenden Sie die Dropdown-Liste Assistent, um auszuwählen, welchen Assistenten Sie testen möchten. Weitere Informationen zu LLM-Assistenten finden Sie unter .
    Hinweis:
    Wenn in Ihrem Thema erforderliche Materialien fehlen, wird in der Ecke des Flow-Diagrammfensters ein Abzeichen für Unvollständig angezeigt. Neben jedem Knoten wird außerdem ein gelbes oder rotes Warnabzeichen angezeigt. Das unvollständige Abzeichen listet die Gesamtzahl der Probleme auf, während die lokalen Warnabzeichen anzeigen, wie viele Probleme in jedem Knoten gefunden wurden. Wenn Sie bei Problemen die Option Test auswählen, wird ein Fenster „Probleme“ mit der Anzahl der vorhandenen Probleme und den Detailinformationen zu den einzelnen Problemen geöffnet. Diese Details umfassen eine vollständige Beschreibung und einen Hyperlink zu jedem unvollständigen Element.

    Alternativ können Sie aktive (veröffentlichte) LLM-Themen auf der Seite „Themen“ testen. Verwenden Sie den Filter des LLM-Assistenten, um Ihre Themen auf Themen zu beschränken, die diesem Assistenten zugeordnet sind, und wählen Sie Aktive Themen testenaus. Wenn Sie den LLM -Assistentenfilter nicht verwenden, wählen Sie LLM-Assistententhemen testen in der Dropdown-Liste Aktive Testthemen aus. Wenn Sie die Option Aktive Themen testen oder Unteroptionen auf der Seite „Themen“ verwenden, wird die Themen-Discovery aktiviert und daher nicht als Option aufgeführt. Beim Testen von der Seite „Themen“ wird die Dropdown-Liste „Assistent“ im Chat-Testfenster angezeigt. Sie müssen zuvor mindestens den Standardassistenten Now Assist in Virtual Agent eingerichtet haben, um die Dropdown-Liste „Assistent“ anzuzeigen. Wenn ein Thema nur einem LLM-Assistenten zugeordnet ist, wird in der Dropdown-Liste Assistent standardmäßig der Name dieses Assistenten angezeigt. Wenn Sie mehrere Assistenten haben, wählen Sie in der Dropdown-Liste Assistent aus, mit welchem Assistent Sie arbeiten möchten. Weitere Informationen zum Erstellen mehrerer LLM-Assistenten finden Sie unter Verwalten Sie Virtual Agents für LLM auf dem Bildschirm Assistenten.

    Das Chattest-Fenster wird im Webclient Now Assist in Virtual Agent geöffnet. Je nachdem, woher Sie den Test stammen und ob Sie LLM-Assistenten eingerichtet haben, werden möglicherweise die Dropdown-Liste Assistent und die Option Themen-Discovery einbeziehen angezeigt.

    Sie können Feedback zu jeder vom LLM gemachten Äußerung geben, indem Sie aus den Optionen „Daumen hoch“-Symbol ( „Daumen hoch“-Symbol ( „ Daumen hoch“-Symbol.) oder „Daumen runter-Symbol“ ( Daumenrunter-Symbol missfällt. ) auswählen, die angezeigt werden, wenn Sie den Mauszeiger über ein bewegen Äußerung. Alle LLM-fähigen Benutzereingaben mit Ausnahme des Eingabesammlers verfügen über diese Feedback-Optionen.

    Abbildung : 2. LLM-Optionen für Äußerungsfeedback
    LLM-Äußerung, in der der Anwender gefragt wird: „Welche Farbe bevorzugen Sie: Rot oder Grün?“ gefolgt von der Auswahl „rot“ oder „grün“. In der Ecke der Nachricht werden Feedback-Optionen angezeigt, mit denen Sie Feedback geben und nicht liken können.

    Im Chat-Testfenster werden auch angrenzende Registerkarten angezeigt, die Details zu Ihrem Thema enthalten, während Sie es testen. Die folgenden Registerkarten sind beim Testen von LLM-Themen verfügbar:

    • Testausdrücke analysieren – Ergebnisse für die Themen-Discovery basierend auf Ihrer Eingabe.
    • Änderungsanweisungen : Liste aller Anweisungen im Thema, die an das LLM gesendet werden. Diese Registerkarte ist nur beim Testen eines einzelnen Themas verfügbar.
    • Variablen : Liste aller in der Konversation verwendeten Variablen, z. B. Eingabe- und Service Desk-Mitarbeiter -Variablen.
    • Variablen bearbeiten : Optionen zum Bearbeiten der in diesem Thema verwendeten Variablen.
    • Kontext : Optionen zum Angeben des Kontexts (mithilfe von Kontextvariablen), in dem ein Thema ausgeführt wird.
    • Protokolle : Liste der durchgeführten Verarbeitungen.
    Abbildung : 3. Beispiel für ein LLM-Testchat-Testfenster und Testregisterkarten
    Je nach Typ des LLM-Themas, das Sie testen, werden verschiedene Registerkarten angezeigt.
    Die folgenden Registerkarten werden angezeigt, wenn Sie die zugehörigen Thementypen auf dem Canvas Virtual Agent-Designer testen:
    • Die Registerkarten Testausdrücke analysieren, Anweisungen ändern, Variablenund Protokolle werden für alle LLM-Thementypen angezeigt.
    • Die Registerkarte Variablen bearbeiten wird für Themenblöcke und anwenderdefinierte Steuerungen angezeigt.
    • Die Registerkarte Kontext wird für Themen, Setup-Themen oder Small Talk-Themen angezeigt, wenn Sie Themen-Discovery einbeziehenauswählen.

    Wenn Sie Tests über die Seite „Themen“ ausführen, werden im Testfenster nur die Registerkarten Testausdrücke analysieren, Variablen, Kontext (standardmäßig verfügbar, ohne Option Themen-Discovery einbeziehen) und Protokolle angezeigt.

    Registerkarte „Testausdrücke analysieren“.

    Wenn Sie LLM-fähige Themen testen, werden basierend auf Ihren Eingaben Ergebnisse für die Themen-Discovery angezeigt. Wenn Sie einen Testausdruck eingeben, werden in Genius-Ergebnissen verschiedene Suchergebnisse angezeigt sind aktiviert, einschließlich Kompetenz-Discovery (Thema), Knowledge Base -Artikel (KB) und Katalogelemente. Unter den Ergebnissen der Kompetenzsuche können je nach Thema auch Variablen und Werte aufgeführt werden (z. B. die Variable @laptop_make und der Wert macbook). Diese Genius-Ergebnisse werden nur angezeigt, wenn Sie ein veröffentlichtes Thema testen und die Option „Themen- Discovery einbeziehen “ ausgewählt haben. Wenn die Option Themen-Discovery einbeziehen inaktiv erscheint, veröffentlichen Sie das Thema für die Verwendung mit der Themen-Discovery. Möglicherweise wird die Meldung „ Suchindizierung wird ausgeführt“ angezeigt. Sie können jedoch trotzdem testen, während die Suchindizierung ausgeführt wird, auch wenn die Themen-Discovery möglicherweise nicht aktualisiert wird. Weitere Informationen zur Funktionsweise von Genius-Ergebnissen finden Sie unter Now Assist in AI Search.

    Darüber hinaus werden beim Testen von aktiven LLM-Assistententhemen auf der Seite „Themen“ Kompetenzergebnisse für die semantische Suche angezeigt. Die semantische Suche analysiert die Bedeutung und den Kontext Ihrer Suchbegriffe und verwendet diese Informationen, um Ergebnisse mit ähnlicher Bedeutung zu finden. Es verbessert den Suchrückruf, indem die natürliche Sprache so interpretiert wird, dass sie die Absicht Ihrer Suche genauer wiedergibt. Wenn die semantische Suche für Themen-Discovery-Tests deaktiviert ist, werden diese Ergebnisse nicht angezeigt. Weitere Informationen zur semantischen Suche finden Sie unter Semantic vector search in AI Search.

    Abbildung : 4. Beispiel für die Registerkarte „Testausdrücke analysieren“ für LLM-Themen
    Registerkarte „Testausdrücke analysieren“, auf der Testausdrucksergebnisse für die Kompetenz-Discovery mit jeweils den Kategorien „Eingabekompetenzen“ und „Ausgabekompetenzen“ angezeigt werden.

    Registerkarte „Anweisungen“ ändern

    Wenn Ihr Thema Anweisungen enthält, die an das LLM gesendet werden, werden sie in der Kategorie „Knoten“ angezeigt. In der Kategorie „Knoten“ werden LLM-fähige Benutzereingabeknoten, ihre Feldnamen und ihr Inhalt im Canvas aufgelistet.

    Sie können den Inhalt aller Anweisungen ändern, um optimale Anweisungen für die Konversation zu entwickeln. Wenn für einen Knoten die Option Benutzeraufforderung erzwingen aktiv ist, werden ein blaues Häkchensymbol (Kontrollkästchen „VAD – Erweiterte Optionen“.) und die Meldung Benutzeraufforderung erzwungen angezeigt. Deaktivieren Sie Anwenderaufforderung erzwingen, um die Anweisungen des Knotens zu ändern.

    Der Status jeder Anweisung beginnt bei Ursprünglich. Wenn Sie den Inhalt einer Anweisung ändern, ändert sich der Status in Geändert, und daneben wird ein Rückgängigmachen-Symbol () angezeigt. Die Gesamtzahl der geänderten Anweisungen wird unten auf der Registerkarte neben der Schaltfläche In Thema speichern aufgelistet. Um die geänderten Anweisungen zu testen, wählen Sie Übernehmen und neu startenaus. Um Änderungen an einer Anweisung rückgängig zu machen, wählen Sie das Rückgängigmachen-Symbol neben der Anweisung. Alternativ können Sie alle Änderungen rückgängig machen, indem Sie Rückgängig machen, das aktiviert wird, wenn Sie Anweisungen ändern.
    Hinweis:
    Wenn Sie In Thema speichernauswählen, werden alle Änderungen gespeichert, und alle geänderten Nachrichten werden auf den Ursprungzurückgesetzt.
    Abbildung : 5. Beispiel: Registerkarte „Anweisungen ändern“.
    Registerkarte „Anweisungen ändern“, auf der Benutzerinformationen mit dem Link „LLM-Anweisungsrichtlinien“ und Knoten in einem Eingabesammler angezeigt werden, einschließlich eines gesperrten Knotens mit der Meldung „Benutzeraufforderung wird erzwungen“.
    Abbildung : 6. Beispiel: Registerkarte „Anweisungen ändern“ mit einer Änderung
    Registerkarte Änderungsanweisungen mit Geänderte Anweisung und In Themenaktualisierungen speichern. Die Optionen Rückgängig machen und Anwenden und Neustarten werden aktiviert, wenn Sie Änderungen vornehmen.
    Wenn Anweisungen in einem Knoten potenziell anstößige Inhalte enthalten, wird auf dem Knoten ein Warnabzeichen angezeigt. Neben dem Knotennamen wird auch ein gelbes Warnsymbol () angezeigt. Wenn Sie Übernehmen und neu starten auswählen, werden diese Anweisungen eingegeben und das Abzeichen und das Symbol entfernt, und der Status Geändert wird zum Ursprünglichengeändert.
    Abbildung : 7. Beispielregisterkarte mit Änderungsanweisungen mit Warnungen zu potenziell anstößigem Inhalt
    Registerkarte „Anweisungen ändern“ mit Warnabzeichen für anstößigen Inhalt, Symbolen und Daraufzeigenmeldung. Wenn Sie Übernehmen und neu starten auswählen, werden die Anweisungen angewendet und die Warnungen entfernt.

    Registerkarte „Variablen“.

    Auf der Registerkarte Variablen wird eine Liste aller in der Konversation verwendeten Variablen und der zugehörigen Werte angezeigt, die im Verlauf der Konversation erfasst werden, sodass Sie mitverfolgen können. Eine Konversation kann die folgenden Variablentypen aufweisen:
    • Eingabevariablen
    • Skriptvariablen
    • Service Desk-Mitarbeiter-Variablen
    • Variablen, die zwischen einem aufrufenden Thema und einem Themenblock übergeben werden
    Die Liste ist durch Variablentypen in Abschnitte unterteilt. Das folgende Beispiel zeigt den Abschnitt Eingabevariablen. Beachten Sie, dass für das Steuerelement der statischen Liste sowohl die Anzeigebezeichnung als auch der Wert für die ausgewählte Auswahl erfasst werden.
    Abbildung : 8. Beispielliste der Eingabevariablen
    Registerkarte Variablen, auf der die Eingabevariablen und -werte angezeigt werden, neben einem Screenshot des Konversations-Flows.

    Das folgende Beispiel zeigt den Abschnitt Eingabevariablen für das Steuerelement für gruppierte Listen. Diese Variableninformationen werden ähnlich wie das Steuerelement der statischen Liste angezeigt, die Variablen werden jedoch durch die einzelnen Gruppen der gruppierten Auswahl getrennt.

    Abbildung : 9. Beispielliste gruppierter Auswahlvariablen
    Registerkarte „Variablen“ nach Gruppe getrennt, wobei der Knoten und der Gruppenname hervorgehoben sind.

    Registerkarte „Variablen bearbeiten“.

    Beim Testen von Themenblöcken und anwenderdefinierten Steuerelementen können Sie die in den Knoten gefundenen Variablen bearbeiten.

    Bearbeiten Sie Variablen in den Knoten des Themas.

    Registerkarte „Kontext“.

    Die Registerkarte Kontext wird angezeigt, wenn Sie Themen, Setup-Themen oder Small Talk-Themen testen, um einen anderen Kontext für den Chat anzugeben. Wählen Sie eine Kontextvariable aus der Liste aus. Die Variablen enthalten kontextbezogene Informationen, die verwendet werden können, um die Absicht des Themas zu bestimmen oder zu steuern, wie Chats an Servicemitarbeiter weitergeleitet werden. Sie können beispielsweise ein Portal aus der Liste der Variablen auswählen und den Portalnamen IT Expresseingeben. Die Registerkarte Kontext ist beim Erstellen von Testfällen nicht verfügbar.

    Weitere Informationen zum Definieren von Kontextvariablen finden Sie unter Konfigurieren Sie Kontextvariablen zum Speichern chatbezogener Informationen. Weitere Informationen zu Servicemitarbeiter-Variablen, die in Virtual Agententhalten sind, finden Sie unter Kontextvariablen des Servicemitarbeiter-Chats.

    Abbildung : 10. Beispielregisterkarte „Kontext“.
    Kontextregisterkarte mit dem Kontextportalwert Serviceportal.

    Nächste Schritte

    Wenn Sie mit dem Testen Ihres Themas fertig sind, schließen Sie das Test-Chat-Fenster. Verwenden Sie bei Bedarf die Testinformationen, um Ihr Thema anzupassen, um eine genauere Leistung zu erzielen. Beispielsweise können die Ergebnisse auf der Registerkarte „ Testausdrücke analysieren “ niedrige Punktzahlen oder Konfidenzbewertungen mit unsicheren oder unbekannten Werten zurückgeben. Verbessern Sie die Punktzahlen, indem Sie die Themenbeschreibung oder Anweisungen in den LLM-fähigen Benutzereingabeknoten aktualisieren.