NLU Leistung des Modells
Verwenden Sie die Modellleistung NLU, um zu sehen, wie gut Ihre Modelle Absichten in Virtual Agent (VA) basierend auf der Bestätigung durch Endanwender vorhergesagt haben.
Zusammenfassungsnutzung
Die Anwendung NLU – Modellleistung bietet eine Analyse und einen Bericht darüber, wie gut Ihre NLU -Modelle die Absichten der VA-Benutzer aus ihren Äußerungen vorhersagen. Wenn NLU -Modelle für VA aktualisiert, veröffentlicht und bereitgestellt werden, können Sie NLU die -Modellleistung verwenden, um die Effizienz der von ihnen getroffenen Absichtsvorhersagen zu überprüfen. Wenn diese Vorhersagen übersprungen werden, liegt dies daran, dass sie keine Absicht mit einer ausreichend hohen Konfidenzpunktzahl für das Modell vorhersagen können. Um die Vorhersage des VA-Themas zu verbessern, gruppiert das System nicht unterstützte VA-Äußerungen für eine Analyse in Clustern und generiert dann einen Bericht, der das Ergebnis der Analyse identifiziert.
Um auf diese Anwendung zuzugreifen, verwenden Sie die Rolle nlu_admin oder admin, und navigieren Sie zu .
Installation
NLU Modellleistung ist eine Anwendung, die unter ServiceNow® Storeverfügbar ist. Um diese Anwendung zu verwenden, stellen Sie sicher, dass das Plugin NLU-Workbench „ - Erweiterte Funktionen“ (sn_nlu_workbench) in Ihrer Instanz aktiv ist. Weitere Informationen finden Sie unter NLU-Workbench installieren – erweiterte Funktionen und NLU-Workbench aktivieren. Da die Leistung des NLU-Modells auf Daten basiert, die von VA eingehen, stellen Sie sicher, dass auch das Plugin „Glide Virtual Agent“ (com.glide.cs.chatbot) aktiv ist. Siehe Virtual Agent aktivieren.
Einstellungen für Konversations-Schnittstellen für ServiceNow NLU konfigurieren
Zur Nachverfolgung der Leistung NLU von müssen Sie zuerst die Einstellungen für Conversational Interfaces (CI) in Virtual Agentkonfigurieren. Um auf diese Einstellungen zuzugreifen, navigieren Sie auf der Zielseite NLU-Modellleistung für Virtual Agent zum oberen Rand und klicken Sie auf Einstellungen für Konversations-Schnittstellen. Diese Aktion führt Sie zur Seite mit den CI-Einstellungen in Virtual Agent (siehe Abbildung unten).
Um die Einstellungen zu konfigurieren, müssen Sie die Rolle virtual_agent_admin oder admin verwenden. Anleitungen für die Konfiguration finden Sie unter NLU in Virtual Agent implementieren und NLU-Sprachen in den Virtual Agent-Einstellungen aktivieren.
Überprüfen der Anwenderoberfläche (UI)
- Registerkarte „Leistung“ und zugehöriges Farbdiagramm, das Daten beschreibt, die Szenarien beschreiben, die auftreten, wenn Benutzer mit VA interagieren. Dieses Diagramm ist in drei Farben unterteilt, die jeweils ein Benutzerszenario darstellen. Die Zeilen im Diagramm mit Text und Prozentsätzen werden als Legende bezeichnet. Unter den drei Szenarien in der ersten Zeile der Legende befinden sich in der zweiten Zeile der Legende zwei Ergebnisszenarien. Die Balken unter der Legende entsprechen den Farben der darüber liegenden Szenarien. Die Größe dieser Balken richtet sich nach dem Prozentwert für jedes Szenario.
- Der blaue Balken zeigt beispielsweise, dass 10 % dieses Batches von VA-Anwendern bestätigt haben, dass ihnen das System das richtige Thema für ihre VA-Chatbot-Konversation vorgelegt hat, und dass 58 % der Anwender (dargestellt durch den dunkelroten Balken) hat bestätigt, dass das ihm vorgelegte Thema falsch war. Zwischen diesen beiden Szenarien liegt ein Szenario, das zeigt, dass 32 % der Anwender (dargestellt durch den dunkelbrownen Balken) überhaupt keine Bestätigung vorgenommen haben.
- Es empfiehlt sich, den Filter Alle Balken anzeigen jederzeit hin- und herzuschalten, um die farbigen Balken und die zugehörigen Szenarien im Diagramm ein- oder auszublenden. Beachten Sie auch, dass beim ersten Zugriff auf NLU-Modellleistung die Standardansicht des Diagramms nur die erste Zeile mit Szenarien und die erste Zeile mit Balken anzeigt.
- Je nachdem, welches Szenario Sie anzeigen, können Sie auch andere Ansichten anzeigen. Wenn Sie beispielsweise zum ersten Mal auf NLU-Modellleistung zugreifen und in der ersten Zeile der Legende auf ein Szenario klicken, blendet das System die Balken der beiden anderen Szenarien aus. Dies trägt dazu bei, die Anwenderoberfläche übersichtlicher zu gestalten, da das Szenario, auf das Sie sich konzentrieren, teilweise von den restlichen Szenarien isoliert ist. Diese Aktionen ändern keine Daten, sie zeigen Ihnen einfach verschiedene Ansichten der Legende und der Balken im Diagramm an.
- Registerkarte Nicht unterstützte Äußerungen, auf der Äußerungen angezeigt werden, die zur Verwendung in der Leistungsanalyse in Clustern gruppiert sind. In diesem Abschnitt der Anwenderoberfläche können Sie zur Anwendung Experten-Feedbackschleife navigieren, von dort zurückkehren und die Analyse ausführen.
Nicht unterstützte Äußerungen unterscheiden sich von irrelevanten Äußerungen. Weitere Informationen finden Sie unter Erkennung von Irrelevanz in NLU.
- Abschnitt „Leistungsdetails“ unter dem Balkendiagramm. Dieser Abschnitt enthält die vier Spalten Äußerung, Vorhergesagte Absicht, Vorhersagemodellund Vorhersageergebnis. Die in diesem Abschnitt angezeigten Details interagieren mit den darüber liegenden Legenden- und Balkendaten.
Überprüfen der VA-Benutzerszenarien
Im Legendenabschnitt der Anwenderoberfläche werden der Text und die Prozentsätze von Informationssymbolen begleitet. Zeigen Sie auf ein Symbol, um die Definition für das entsprechende Anwenderszenario aufzurufen. Die Definitionen finden Sie in der Tabelle unten.
| Szenario | Definition |
|---|---|
| Anwender als korrekt bestätigt | Das richtige Thema wurde dem Endanwender angezeigt, und der Endanwender hat bestätigt, dass es korrekt ist. |
| Thema gestartet, Anwender hat als korrekt bestätigt. | Das Thema wurde gestartet, und der Anwender hat bestätigt, dass es sich um das benötigte Thema handelt. |
| Themenmenü angezeigt, Anwender hat eines ausgewählt. | Dem Anwender wurden mehrere Themen als Menü angezeigt, und der Anwender wählte eines der Themen aus, das seinem Bedarf entsprach. |
| Keine Bestätigung durch Anwender | Das Thema wurde gestartet, aber der Anwender hat nicht bestätigt, ob es seinem Bedarf entspricht oder nicht. |
| Keine Vorhersage getroffen, Rückgriffthema gestartet | Es wurden keine Vorhersagen getroffen, und das Fallback-Thema wurde gestartet. |
| Thema gestartet, keine Anwenderbestätigung | Das Thema wurde gestartet, aber der Anwender hat nicht bestätigt, ob es korrekt war. |
| Anwender hat als falsch bestätigt. | Die angezeigten Themen entsprachen nicht den Anforderungen des Endanwenders, und der Anwender hat bestätigt, dass sie nicht korrekt sind. |
| Thema gestartet, Anwender hat als falsch bestätigt | Das Thema wurde gestartet, und der Anwender hat bestätigt, dass es nicht korrekt war. |
| Themenmenü angezeigt, Anwender hat keines ausgewählt | Dem Anwender wurden mehrere Themen als Menü angezeigt, und der Anwender entschied, dass keines der Themen relevant ist, und wählte kein Thema aus. |
Mit den Filtern Sprache und Modell
Auf der Registerkarte „Leistung“ werden die Filter „Sprache“ und „Modell“ angezeigt. daneben können Sie auch die neuesten von Ihnen festgelegten Datumsbereichswerte sehen, die Sie über der Legende und den Balken des Diagramms festgelegt haben. Klicken Sie auf den Filter Sprache, um alle Sprachen anzuzeigen, die in NLUverfügbar sind. Klicken Sie auf den Filter Modell, um alle in Ihrer Instanz verfügbaren Vorhersagemodelle anzuzeigen. Die Standardeinstellung für den Sprachfilter lautet Alle Sprachen, und die Standardeinstellung für den Filter Modell lautet Alle Modelle.
Die Filter für Sprache und Modell interagieren miteinander. Wenn Sie beispielsweise im SprachfilterFranzösisch-fr wählen, zeigt der Modellfilter automatisch alle Vorhersagemodelle in Ihrer Instanz an, die die Französische Sprache verwenden (siehe folgende Abbildung).
- Wenn Sie ein bestimmtes Modell aus dem Filter Modell auswählen, wird der Wert des Sprachfilters aktualisiert, um die Sprache des ausgewählten Modells anzuzeigen.
- Wenn Sie eine bestimmte Sprache aus dem Filter Sprache auswählen, zeigt der Filter Modell nur Modelle dieser ausgewählten Sprache an.
Datumsbereich festlegen
Verwenden Sie auf der Registerkarte Leistung den Datumsbereich, um zu definieren, wie weit zurück das System VA-Daten abrufen soll. Wählen Sie Letzte 30 Tage, Letzte 60 Tage, Letzte 90 Tageoder Anwenderdefinierter Bereichaus. Je weiter Sie im Datumsbereich zurückgehen, desto mehr Daten enthält Ihre Analyse.
Durchführen einer Analyse
Um eine Leistungsanalyse auszuführen, klicken Sie auf die Registerkarte Nicht unterstützte Äußerungen. Dieser Abschnitt der Anwenderoberfläche zeigt Zeilen von erweiterbaren Clustern, die VA-Äußerungen enthalten, bei denen NLU keine Themenvorhersage getroffen hat oder bei denen der VA-Endanwender bestätigt hat, dass das vorhergesagte Thema falsch war. Als Nächstes klicken Sie auf Experten-Feedbackschleife. Mit dieser Aktion gelangen Sie zur Anwendung NLU-Experten-Feedbackschleife, in der Sie die aus VA abgerufenen Äußerungen überprüfen und Feedback dazu geben können.
Wenn Sie die Anwendung Experten-Feedbackschleife verlassen und zu NLU-Modellleistung zurückkehren, klicken Sie in einem beliebigen Cluster auf das Caret -Symbol, um es zu öffnen. Innerhalb des Clusters können Sie dann die repräsentativsten VA-Äußerungen sehen (siehe folgende Abbildung).
Klicken Sie auf Analyse ausführen oder Analyse erneut ausführen, je nachdem, welche Option verfügbar ist. Jedes Mal, wenn Sie eine Analyse ausführen, ruft das System die neuesten VA-Äußerungen in die Analyse ab.