Erstellung und Verwaltung von Testsätzen

  • Freigeben Version: Washingtondc
  • Aktualisiert 5. Februar 2024
  • 3 Minuten Lesedauer
  • Verwenden Sie die Standardtestreihe Ihres NLU -Modells, um die Leistung und Genauigkeit des Modells zu testen. Verwalten Sie Ihren Testsatz im Laufe der Zeit, indem Sie seinen Inhalt im NLU-Workbencherstellen oder aktualisieren.

    Hinweis:
    Um Ihr Modell zu testen, installieren Sie die Anwendung [ ServiceNow® StoreNLU-Workbench - Erweiterte Funktionen. Weitere Informationen finden Sie unter Installieren Sie NLU-Workbench – erweiterte Funktionen.
    Wenn Sie ein NLU -Modell für Virtual Agent oder KI-Sucheerstellen, wird ein Standardtestsatz erstellt und dem Modell zugeordnet. Sie können den Standardtestsatz verwenden, um die Leistung des Modells zu bewerten. Anfänglich ist der Testsatz leer und kann mit Ihrem Inhalt ausgefüllt werden.

    Greifen Sie auf Ihren Standardtestsatz zu

    Greifen Sie mit einer der folgenden Methoden auf Ihren Standardtestsatz zu.
    • Navigieren zu Alle > NLU-Workbench > Modelle. Wählen Sie die Registerkarte für die Anwendung Ihres Modells und dann den Namen Ihres Modells aus der Liste aus. Suchen Sie auf der Übersichtsseite des Modells nach der Karte Modell erstellen und schulen und wählen Sie die zugehörige Schaltfläche Ansichtsphase aus. Wählen Sie dann die Registerkarte Testsatz aus. Auf der Übersichtsseite des NLU-Modells wird die Registerkarte Testsatz hervorgehoben.
    • Navigieren zu Alle > NLU-Workbench > Modelle. Wählen Sie die Registerkarte für die Anwendung Ihres Modells und dann den Namen Ihres Modells aus der Liste aus. Wählen Sie auf der Übersichtsseite des Modells die Kachel „ Testabdeckung “ aus. Auf der Seite mit der Modellübersicht wird die Kachel „Testabdeckung“ hervorgehoben.
    • Navigieren zu Alle > Batch-Tests für mehrfache Modelle > Testsätze Registerkarte. Suchen Sie den Namen Ihres Modells. Standardtestsätze sind als Standardgekennzeichnet.Ein Eintrag in der Testsatztabelle von Batch-Tests für mehrere Modelle.

    Fügen Sie Ihrem Standardtestsatz Inhalte hinzu

    Fügen Sie Äußerungen und ihre erwarteten Absichten hinzu, um Ihren Testsatz im Laufe der Zeit zu erstellen und zu verwalten. Sie können dem Standardtestsatz mit den folgenden Methoden Inhalte hinzufügen:

    • Fügen Sie Testäußerungen und ihre erwarteten Absichten manuell hinzu. Navigieren Sie auf der Übersichtsseite des Modells zu Modell erstellen und trainieren > Testsatz Registerkarte. Geben Sie Ihre Eingabe in das Feld Geben Sie hier eine Testäußerung ein, wählen Sie eine entsprechende Absicht aus, und klicken Sie dann auf die Schaltfläche Hinzufügen.

      Diesen Testäußerungen wird die Quelle Manuellzugewiesen.

    • Importieren Sie Testäußerungen und ihre erwarteten Absichten aus einer CSV-Datei oder aus anderen Modellen. Um Inhalte in eine Standardtestreihe zu importieren, navigieren Sie auf der Übersichtsseite des Modells zu Modell erstellen und trainieren > Testsatz Registerkarte. Wählen Sie Testäußerungen importieren aus.

      Importierten Testäußerungen wird die Quelle Manuellzugewiesen.

    • Mit der Funktion „Experten-Feedbackschleife“ können Sie der Testreihe tatsächliche Benutzeräußerungen aus Virtual Agent Chatprotokollen hinzufügen.

      Diesen Testäußerungen wird eine Quelle für Expertenfeedbackzugewiesen. Weitere Informationen finden Sie unter NLU Experten-Feedbackschleife.

    Testabdeckung

    Die Punktzahl der Testabdeckung ist der Prozentsatz der aktivierten Absichten eines Modells, die Testäußerungen im Standardtestsatz enthalten. Stellen Sie vor dem Testen Ihres Modells sicher, dass die Abdeckung mindestens 60 % beträgt. Je höher die Punktzahl der Testabdeckung, desto genauer sind die Ergebnisse der Leistungstests.

    Ihre Testabdeckung muss mindestens 60 % betragen, mit mindestens 5 Testäußerungen pro Absicht, damit das System während der Batch-Tests einen optimalen Konfidenzschwellenwert liefert. Weitere Informationen zum Konfidenzschwellenwert finden Sie unter NLU-Modelleinstellungen.

    Ziel ist es, dass etwa 10 Prozent der Testäußerungen eines Modells als „nicht relevant“ markiert sind, was bedeutet, dass keine Absicht zugeordnet ist. Dies hilft bei der Bewertung, wie das Modell irrelevante Äußerungen behandelt, für die keine Absicht vorhergesagt werden sollte. Weitere Informationen zu irrelevanten Äußerungen finden Sie unter Erkennung von Irrelevanz in NLU.

    Verwenden Sie den Testsatz

    Informationen zur Verwendung der Standardtestreihe aus der Phase „ Modell testen und veröffentlichen “ finden Sie unter Ihr Modell testen und veröffentlichen.

    Informationen zur Verwendung des Testsatzes in Batch-Tests für mehrere Modelle finden Sie unter Batch-Tests für mehrfache Modelle.

    Merkmale von Standardtestsätzen

    Wenn eine Instanz aktualisiert wird, werden Standardtestsätze für alle vorhandenen Modelle erstellt, die sie noch nicht enthalten.

    Wenn Sie ein Modell mit Dieses Modell duplizierenkopieren, wird der Standardtestsatz des Originals in das neue Modell kopiert. Weitere Informationen finden Sie unter Duplizieren Sie ein NLU-Modell.

    Die Äußerungen im Testsatz dürfen nicht mit den Äußerungen im Trainingssatz identisch sein.

    Standardtestsätze können nicht getrennt von ihren Modellen gelöscht werden.

    Testsatzäußerungen sollten in derselben Sprache wie ihr Modell erfolgen.

    Testsätze sind für die Modelle Virtual Agent und KI-Suche verfügbar.

    Standardtestsätze werden heruntergeladen oder verschoben

    Standardtestsätze können wie folgt heruntergeladen oder verschoben werden.

    • Standardtestsätze können separat im CSV-Format heruntergeladen werden. Um den Testsatz herunterzuladen, navigieren Sie auf der Übersichtsseite des Modells zu Modell erstellen und trainieren > Testsatz Registerkarte. Wählen Sie Testsatz herunterladen aus.
      Hinweis:
      Testsätze, die über Testsatz herunterladen heruntergeladen werden, enthalten Testäußerungen und ihre erwarteten Absichten, aber nicht die Quellen.
    • Standardtestsätze können mit Update Sets verschoben werden. Wenn Sie ein NLU -Modell zu einem Update Set hinzufügen, wird dessen Standard-Test Set hinzugefügt, einschließlich Testäußerungen, erwarteten Absichten und Quellen. Weitere Informationen finden Sie unter Fügen Sie einem Update Set ein NLU-Modell hinzu.
    • Wenn Sie die Funktion „Modell als CSV exportieren“ in der Tabelle „ Alle vorhandenen Modelle “ verwenden, ist der Standardtestsatz nicht enthalten. Weitere Informationen finden Sie unter Exportieren Sie ein NLU-Modell.