Batch-Tests für mehrfache Modelle

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 2 Minuten Lesedauer

    • Testen Sie mehrere Natural Language Understanding (NLU)-Modelle anhand einer großen Anzahl von Äußerungen, um die Leistung der Modelle zu bewerten. Fügen Sie Testsätze hinzu, testen Sie mehrere Modelle, und sehen Sie sich die Testergebnisse an.

    Zusammenfassung der Nutzung

    Verwenden Sie Batch-Tests für mehrere Modelle, um Testsätze zu erstellen und hochzuladen, die aus Äußerungen und ihren erwarteten Absichten bestehen. Sie können dann Tests für Ihre NLU-Modelle ausführen.

    Batch-Tests für mehrere Modelle funktionieren mit Modellen für alle unterstützten NLU-Sprachen. Weitere Informationen finden Sie unter NLU Sprachunterstützung.

    Installation

    Batch-Tests für mehrere Modelle sind Teil der App NLU-Workbench - Erweiterte Funktionen, die im ServiceNow® Storeverfügbar ist.

    Um Batch-Tests für mehrere Modelle zu verwenden, stellen Sie sicher, dass das Plugin NLU-Workbench - Erweiterte Funktionen (com.snc.nlu.workbench.advanced) in Ihrer Instanz aktiv ist. Weitere Informationen finden Sie unter Installieren Sie NLU-Workbench – erweiterte Funktionen und NLU-Workbench aktivieren.

    Testsätze

    Testsätze sind Listen von Äußerungen und übereinstimmenden Absichten. Erstellen Sie einen Testsatz mithilfe einer Tabelle in einer CSV- oder XLSX-Datei (Excel-Arbeitsmappe). Die Tabelle sollte zwei Spalten enthalten: eine für Äußerungen und eine für die erwartete Absicht. Ihr Testsatz kann bis zu 10.000 Zeilen enthalten.

    Um das Testen Ihrer NLU-Modelle optimal zu nutzen, sollten Ihre Testsätze Äußerungen enthalten, auf die das Modell wahrscheinlich von Ihren Benutzern stößt. Testäußerungen sollten in derselben Sprache sein wie das zu testende Modell. Der Testsatz sollte auch Äußerungen ohne erwartete Absichten enthalten. Das Einbeziehen von Äußerungen ohne erwartete Absicht hilft bei der Bewertung der Fähigkeit Ihres Modells, irrelevante Äußerungen zu erkennen, für die keine Absicht vorhergesagt werden sollte.

    Durch die Einbeziehung dieser Arten von Äußerungen kann der Test die Fähigkeit des Modells, Absichten wahrzunehmen und auf Ihre Benutzer zu reagieren, besser bewerten. Wenn Ihr Testsatz nicht mindestens 60 % der Absichten der Modelle abdeckt, können Sie den Test trotzdem ausführen, aber der empfohlene Schwellenwert ist möglicherweise nicht optimal.
    Hinweis:
    Bestimmte Testäußerungen werden während des Tests übersprungen, wenn ihre erwartete Absicht mit keiner Absicht in den Modellen übereinstimmt.

    Informationen zum Erstellen eines Testsatzes finden Sie unter Testsatz erstellen.

    Nachdem Sie eine Testreihe erstellt haben, können Sie trainierte NLU-Modelle testen. Informationen zum Testen finden Sie unter Führen Sie einen Batch-Test für mehrere Modelle aus.

    Nachdem Sie einen Test ausgeführt haben, werden Ihre Ergebnisse auf der Seite „ Testergebnisse “ angezeigt.

    Testergebnisse

    Auf der Seite „ Testergebnisse “ werden Ihre abgeschlossenen und laufenden Tests aufgelistet. Die Ergebnisseite zeigt auf einen Blick die getesteten Modelle, die Anzahl der Äußerungen und die Vorhersageprozentsätze.

    Seite „Batch-Tests für mehrere Modelle“ mit abgeschlossenen Tests.

    Um die Details eines Testergebnisses anzuzeigen, klicken Sie auf den Namen des Testsatzes.

    Die Übersichtsseite zeigt Zusammenfassungsinformationen zu den Ergebnissen und enthält eine Grafik mit einer Aufgliederung der Vorhersagen.

    Die Absichten, die Aufmerksamkeit erfordern (Aktuelles Modell) zeigt die Top 5 der verpassten und falschen Absichten. Klicken Sie auf den Absichtsnamen, um Detailinformationen zu den Testäußerungen anzuzeigen, die falsch vorhergesagt wurden. Verwenden Sie diese Informationen, um das Modell zu verbessern.

    Auf der Registerkarte Detaillierte Ergebnisse werden Informationen zu jeder getesteten Äußerung aufgelistet. Hier können Sie das Vorhersageergebnis und die Konfidenz pro Modell für jede Äußerung anzeigen. Filtern Sie die Ergebnisse, indem Sie die Suchleiste verwenden oder mit den Filtertools und Spaltenüberschriften interagieren.

    Sie können die Testergebnisse auch in eine CSV-Datei exportieren, indem Sie auf Exportierenklicken. Die Datei enthält dieselben Spalten wie die detaillierte Ergebnisseite.

    Weitere Informationen zum Verständnis Ihrer Testergebnisse finden Sie unter Ihr Modell testen und veröffentlichen.