Ihr Modell testen

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 2 Minuten Lesedauer

    • Testen Sie Ihr Natural Language Understanding (NLU)-Modell anhand seiner Standardtestreihe. Mithilfe von Tests können Sie feststellen, wie Ihr Modell mit dem aktuellen Inhalt abschneidet.

    Vorbereitungen

    • Stellen Sie sicher, dass die Plugins „NLU Model Builder - Core“, „NLU Model Builder“, NLU-Workbench „ – Advanced Features“ und Predictive Intelligence „[]“ installiert und aktiviert sind.
    • Haben ein trainiertes Modell für Virtual Agent oder AI Search. Weitere Informationen finden Sie unter Modell erstellen und trainieren.
    • Haben Sie einen Testsatz zum Testen von Modellen. Weitere Informationen finden Sie unter Erstellung und Verwaltung von Testsätzen.
    • Erforderliche Rolle: nlu_editor, nlu_admin oder admin. Der Editor muss dem Modell zugewiesen sein.

    Warum und wann dieser Vorgang ausgeführt wird

    Führen Sie einen Test Ihres Modells mit dem Standardtestsatz aus, der Testäußerungen und deren erwartete Absichten enthält.
    • Wenn eine erwartete Absicht in Ihrem Testsatz keiner Absicht im Modell entspricht, werden die Äußerungen mit diesen Absichten nicht zum Testen verwendet. Sie sind nicht in den Testergebnissen enthalten.
    • Die Antworten von Dialoghandlungen während der Konversation können in NLU-Workbenchnicht getestet oder getestet werden.
    • Wenn das Modell keine Vorhersage für Äußerungen zurückgibt, die als Nicht relevantmarkiert sind, wird dieses Ergebnis als Richtiggezählt.
    • Wenn Ihr Testsatz nicht mindestens 60 % der Absichten im Modell abdeckt, empfiehlt das System keinen Konfidenzschwellenwert. Sie können den Test jedoch weiterhin ausführen.

    In diesem Beispielszenario haben Sie Ihr Modell trainiert und möchten die Leistung bewerten.

    Prozedur

    1. Navigieren zu Alle > NLU-Workbench > Modelle.
      Die Registerkarte Virtual Agent wird standardmäßig geöffnet.
    2. Wählen Sie die Registerkarte für die Anwendung Ihres Modells und dann den Namen des Modells aus, das Sie testen möchten.
    3. Suchen Sie auf der Registerkarte Modelldetails der Modellübersicht die Karte für die Phase Modell testen und veröffentlichen, und klicken Sie dann auf Phase anzeigen.
    4. Wählen Sie Neuen Test ausführen aus.
      Hinweis:
      Andere Phasen sind während eines Tests nicht verfügbar.
      Führen Sie einen neuen Test für die Phase „Modell testen und veröffentlichen“ aus.
    5. Das Dialogfeld „ Neuen Test ausführen bestätigen “ wird geöffnet. Wählen Sie daher OKaus.
      Das Dialogfeld zum Bestätigen von Neuen Test ausführen.
      Der Test beginnt, und die Seite „Test läuft... “ wird geladen.

    Ergebnisse

    Wenn der Test abgeschlossen ist, wird die Seite Modell testen und veröffentlichen neu geladen. Das Feld Testausführungsdatum gibt das Datum und die Uhrzeit dieses Tests an.

    Die Registerkarte Übersicht zeigt ein Diagramm der Testergebnisse an. Außerdem wird eine Liste der Top 5 der falschen Absichten und der Top 5 der verpassten Absichten angezeigt.

    Auf der Registerkarte Detaillierte Ergebnisse werden alle Testäußerungen und ihre Vorhersageergebnisse aufgelistet.

    Sie können frühere Testergebnisse anzeigen, indem Sie auf „Testverlauf anzeigen “ unter „Modell testen und veröffentlichen“klicken oder zu navigieren Batch-Tests > Testergebnisse.

    Nächste Maßnahme

    Verwenden Sie die Ergebnisse, um den Inhalt Ihres Modells zu bearbeiten und zu verbessern. Wenn Sie mit den Ergebnissen zufrieden sind, veröffentlichen Sie Ihr Modell, um es für verbrauchende Anwendungen wie Virtual Agentverfügbar zu machen.