LLM-Thementests

Freigeben Version: Washingtondc

Aktualisiert 1. Februar 2024

6 Minuten Lesedauer

Zeigen Sie im Virtual Agent-Designer -Chatfenster eine Vorschau von Themen an, die große Sprachmodelle (LLMs) verwenden, und testen und debuggen Sie sie.

Sie können die Funktionen Ihres Themas testen, indem Sie während der Arbeit Ihre Konversation in einem Chat-Testfenster ausführen. Der Webchat-Client (Serviceportal) ist das Standardtestfenster.

Large Language Model (LLM)-Themen sind im Vergleich zu Natural Language Understanding (NLU)-Themen schneller und einfacher zu testen. Beispielsweise müssen Sie Ihr Thema nicht erneut testen, nachdem Äußerungen aktualisiert und Modelle neu trainiert wurden, wie bei NLU -Themen.

Wenn Sie Virtual Agent-Integrationen mit Messaging-Apps von Drittanbieternverwenden, werden Elemente in Ihrer Konversation in Messaging-Anwendungen von Drittanbietern möglicherweise anders angezeigt. Testen Sie Ihre Konversationen in Anwendungen von Drittanbietern, in denen Sie Virtual Agentbereitstellen möchten.

Hinweis:

Wenn der Bereich Now Assist, die Anwendung Microsoft Teamsoder die Anwendung Slack für Ihre Umgebung konfiguriert ist, werden Vorschauoptionen für diese Kanäle in der Liste der Testschaltflächen angezeigt. Wählen Sie in der Liste Vorschau im Now Assist-Bereich, Vorschau in Microsoft Teamsoder Vorschau in Slack aus, um Ihr Thema in diesen Umgebungen zu testen.

Testen Sie Ihr LLM-Thema im Chat-Testfenster

Sie finden LLM-Testoptionen auf der Canvas Virtual Agent-Designer und auf der Seite „Themen“. — Abbildung : 1. LLM-Testoptionen

Testen Sie LLM-Themen auf der Canvas Virtual Agent-Designer, indem Sie in der Themen-Header-Leiste die Optionen Test oder Vorschau in Now Assist auswählen.

Hinweis:

Wenn in Ihrem Thema erforderliche Materialien fehlen, wird in der Ecke des Flow-Diagrammbereichs ein unvollständiges Abzeichen angezeigt. Neben jedem Knoten wird auch ein gelbes oder rotes Warnabzeichen angezeigt. Das unvollständige Abzeichen listet die Gesamtzahl der Probleme auf, während die lokalen Warnungsabzeichen anzeigen, wie viele in jedem Knoten gefunden wurden. Wenn Sie Testen auswählen, wenn Probleme vorhanden sind, wird ein Fenster Probleme mit der Anzahl der vorhandenen Probleme und den Details jedes Problems geöffnet. Diese Details umfassen eine vollständige Beschreibung und einen Hyperlink zu jedem unvollständigen Element.

Alternativ können Sie aktive (veröffentlichte) LLM-Themen auf der Seite „Themen“ testen. Verwenden Sie den Filter „LLM-Assistent “, um Ihre Themen auf Themen zu beschränken, die nur dem Assistenten zugeordnet sind, und wählen Sie dann Aktive Themen testenaus. Wenn Sie den LLM-Assistenten -Filter nicht verwenden, wählen Sie LLM-Themen testenaus aus dem Dropdown-Menü Aktive Themen testen, um Themen zu testen, die dem LLM-Assistenten zugeordnet sind. Weitere Informationen zum LLM-Assistenten finden Sie unter LLM-Assistenten.

Das Chat-Testfenster wird im Webclient geöffnet und zeigt angrenzende Registerkarten mit Details zu Ihrem Thema an, während Sie es testen. Die folgenden Registerkarten sind beim Testen von LLM-Themen verfügbar:

Testausdrücke analysieren : Ergebnisse für die Themen-Discovery basierend auf Ihren Eingaben.
Aufforderungs-Discovery : Liste aller Aufforderungen im Thema, die an das LLM gesendet werden.
Variablen : Liste aller in der Konversation verwendeten Variablen, z. B. Eingabe- und Service Desk-Mitarbeiter -Variablen.
Variablen bearbeiten : Optionen zum Bearbeiten der in diesem Thema verwendeten Variablen.
Kontext : Optionen zum Angeben des Kontexts (mithilfe von Kontextvariablen), in dem ein Thema ausgeführt wird.
Protokolle : Liste der durchgeführten Verarbeitungen.

Je nach Typ des LLM-Themas, das Sie testen, werden verschiedene Registerkarten angezeigt. — Abbildung : 2. Beispiel: LLM-Test-Chat-Testfenster und Test-Registerkarten

Die folgenden Registerkarten werden angezeigt, wenn Sie die zugehörigen Thementypen auf der Canvas Virtual Agent-Designer testen:

Die Registerkarten Testausdrückeanalysieren, Aufforderungserkennung, Variablenund Protokolle werden für alle LLM-Thementypen angezeigt.
Die Registerkarte Variablen bearbeiten wird für Themenblöcke und benutzerdefinierte Steuerungen angezeigt.
Die Registerkarte Kontext wird für Themen, Setupthemen oder Small Talk-Themen angezeigt, wenn Sie Themen- Discovery einbeziehenauswählen.

Wenn Sie Tests über die Seite „Themen“ ausführen, werden im Testfenster nur die Registerkarten „Testausdrücke analysieren“, „ Variablen“, „ Kontext “ (standardmäßig verfügbar, ohne Option „ Themenerkennung einschließen “) und „ Protokolle “ angezeigt.

Registerkarte „Testausdrücke analysieren“

Wenn Sie LLM-fähige Themen testen, werden die Ergebnisse für die Themenerkennung basierend auf Ihrer Eingabe angezeigt. Wenn Sie einen Testausdruck eingeben, werden Themenergebnisse für die Kompetenz-Discovery angezeigt, einschließlich Eingabekompetenzen und Ausgabekompetenzen. Die endgültige Ausgabe der Themenerkennung enthält Bewertungen, die die Genauigkeit des ausgewählten Themas im Vergleich zu Ihrer Eingabe beschreiben.

Registerkarte „Testphrasen analysieren“ mit Testphrasenergebnissen für die Kompetenz-Discovery, jeweils mit den Kategorien „Eingabekompetenzen“ und „Ausgabekompetenzen“. — Abbildung : 3. Beispiel Registerkarte „Testausdrücke analysieren“ für LLM-Themen

Kompetenz-Discovery-Eingabekompetenzen sind die LLM-Themen, die von Now LLMdurchsucht werden. Kompetenz-Discovery – Ausgabekompetenzen zeigt das Thema an, das Now LLM am wahrscheinlichsten mit Ihrem Testausdruck übereinstimmt. Die Leiste Ausgabekompetenzen zeigt als Konfidenzergebnis Sicher, Unsicheroder Unbekanntan. Das verwendete Thema unter Ausgabekompetenzen zeigt einen booleschen Wert für Übereinstimmung oder Nichtübereinstimmungzusammen mit einer prozentualen Punktzahl an. Variablen und Werte können je nach Kompetenz oder Thema auch aufgelistet werden (z. B. die Variable @laptop_make und der Wert macbook).

Wenn die Leiste „Ausgabekompetenzen“ schlechte Ergebnisse anzeigt, können Sie diese verbessern, indem Sie die Beschreibung Ihres Themas und alle Anweisungen in den Themenknoten anpassen.

Darüber hinaus werden beim Testen aktiver LLM-Assistententhemen auf der Seite „Themen“ Kompetenzergebnisse für die semantische Suche angezeigt, einschließlich Eingabekompetenzen und Ausgabekompetenzen. Die semantische Suche analysiert die Bedeutung und den Kontext Ihrer Suchbegriffe und verwendet diese Informationen, um Ergebnisse mit ähnlichen Bedeutungen zu finden. Es verbessert den Suchrückruf, indem natürliche Sprache so interpretiert wird, dass die Absicht Ihrer Suche genauer wiedergegeben wird. Wenn die semantische Suche für Themenerkennungstests deaktiviert ist, werden diese Ergebnisse nicht angezeigt. Weitere Informationen zur semantischen Suche finden Sie unter Semantic vector search in AI Search.

Registerkarte „Aufforderungserkennung“

Wenn Ihr Thema Aufforderungen enthält, die an das LLM gesendet werden, werden diese in zwei Kategorien angezeigt: Themen und Knoten. Die Kategorie Thema enthält den Namen und die Beschreibung des eigentlichen Themas. In der Kategorie „Knoten“ werden LLM-fähige Benutzereingabeknoten auf der Canvas, ihre Feldnamen und Typen und ihr Inhalt aufgelistet.

Sie können die Themenbeschreibung zusammen mit dem Inhalt einer der Aufforderungen ändern, um optimale Aufforderungen für die Konversation zu entwickeln. Der Status jeder Eingabeaufforderung beginnt bei Ursprüngliche Eingabeaufforderung. Wenn Sie den Inhalt einer Eingabeaufforderung ändern, ändert sich ihr Status in Eingabeaufforderung geändert, und daneben wird ein Symbol zum

zum Rückgängigmachen) angezeigt. Die Gesamtzahl der geänderten Aufforderungen wird am unteren Rand der Registerkarte neben der Schaltfläche In Thema speichern aufgelistet. Um die geänderten Eingabeaufforderungen zu testen, wählen Sie Übernehmen und starten Sie neu. Um Änderungen an einer Eingabeaufforderung rückgängig zu machen, klicken Sie auf das Symbol zum Rückgängigmachen neben der Eingabeaufforderung. Alternativ können Sie alle Änderungen rückgängig machen, indem Sie Rückgängig machen auswählen, das aktiviert wird, wenn Sie Eingabeaufforderungen ändern.

Hinweis:

Wenn Sie In Thema speichernauswählen, werden alle Änderungen gespeichert und alle Eingabeaufforderungsmeldungen zu Änderung auf die ursprüngliche Eingabeaufforderungzurückgesetzt.

Registerkarte „Prompt-Discovery“ mit den Kategorien „Thema“ und „Knoten“ — Abbildung : 4. Beispiel-Registerkarte „Aufforderungserkennung“.

Registerkarte „Prompt-Discovery“ mit „Eingabeaufforderung geändert“ und „In Thema speichern“ Die Optionen Rückgängig machen und Anwenden und Neustart werden aktiviert, wenn Sie Änderungen vornehmen. — Abbildung : 5. Beispiel einer Registerkarte für Eingabeaufforderungserkennung mit einer Änderung

Registerkarte „Variablen“

Die Registerkarte Variablen zeigt eine Liste aller in der Konversation verwendeten Variablen und die zugehörigen Werte an, die im Verlauf der Konversation erfasst wurden, sodass Sie die Konversation verfolgen können. Eine Konversation kann die folgenden Variablentypen haben:

Eingabevariablen
Skriptvariablen
Service Desk-Mitarbeiter-Variablen
Variablen, die zwischen einem aufrufenden Thema und einem Themenblock übergeben werden

Die Liste ist nach Variablentypen in Abschnitte unterteilt. Das folgende Beispiel zeigt den Abschnitt Eingabevariablen. Beachten Sie, dass für das statische Listensteuerelement sowohl die Anzeigebezeichnung als auch der Wert für die ausgewählte Auswahl erfasst werden.

Registerkarte „Variablen“, auf der die Eingabevariablen und -werte angezeigt werden, neben einer Bildschirmaufnahme des Konversations-Flows — Abbildung : 6. Beispielliste von Eingabevariablen

Das folgende Beispiel zeigt den Abschnitt „Eingabevariablen“ für das Steuerelement für gruppierte Listen. Diese Variableninformationen ähneln dem statischen Listensteuerelement, aber die Variablen werden durch jede Gruppe der gruppierten Auswahl getrennt.

Registerkarte „Variablen“ nach Gruppe getrennt, wobei der Knoten und der Gruppenname hervorgehoben sind. — Abbildung : 7. Beispielliste gruppierter Auswahlvariablen

Registerkarte „Variablen bearbeiten“.

Beim Testen von Themen, Themenblöcken und Small Talk-Themen können Sie die Variablen in den Knoten des Themas bearbeiten.

Bearbeiten Sie Variablen in den Knoten des Themas.

Registerkarte „Kontext“.

Die Registerkarte Kontext wird angezeigt, wenn Sie Themen, Setup-Themen oder Small Talk-Themen testen, um einen anderen Kontext für den Chat anzugeben. Wählen Sie eine Kontextvariable aus der Liste aus. Die Variablen enthalten kontextbezogene Informationen, die verwendet werden können, um die Absicht des Themas zu bestimmen oder zu steuern, wie Chats an Service Desk-Mitarbeiter weitergeleitet werden. Sie können beispielsweise Portal aus der Liste der Variablen auswählen und den Portalnamen IT Expresseingeben. Die Registerkarte Kontext ist beim Erstellen von Testfällen nicht verfügbar.

Weitere Informationen zum Definieren von Kontextvariablen finden Sie unter Konfigurieren Sie Kontextvariablen zum Speichern von chatbezogenen Informationen. Weitere Informationen zu Servicemitarbeiter-Variablen, die in Virtual Agententhalten sind, finden Sie unter Kontextvariablen des Servicemitarbeiter-Chats.

Kontextregisterkarte mit dem Kontextportalwert des Serviceportals. — Abbildung : 8. Registerkarte „Beispielkontext“.

Nächste Schritte

Wenn Sie mit dem Testen Ihres Themas fertig sind, schließen Sie das Test-Chatfenster. Verwenden Sie bei Bedarf die Testinformationen, um Ihr Thema anzupassen, um eine genauere Leistung zu erzielen. Beispielsweise können die Ergebnisse auf der Registerkarte „ Testausdrücke analysieren “ niedrige Punktzahlen oder die Konfidenzbewertungen „Unsicher“ oder „ Unbekannt “ zurückgeben. Verbessern Sie die Punktzahlen, indem Sie die Themenbeschreibung oder die Anweisungen in den LLM-fähigen Benutzereingabeknoten aktualisieren.