Führen Sie einen Batch-Test für mehrere Modelle aus

  • Freigeben Version: Washingtondc
  • Aktualisiert 1. Februar 2024
  • 1 Minute Lesedauer

    • Testen Sie mehrere Natural Language Understanding (NLU)-Modelle mit einem Testsatz. Bewerten Sie die Qualität Ihrer Modelle und verfeinern Sie sie, um die Absichtsvorhersage zu verbessern.

    Vorbereitungen

    • Stellen Sie sicher, dass die Plugins NLU-Workbench - Core, NLU-Workbench, NLU-Workbench - Advanced Features und Predictive Intelligence installiert und aktiviert sind.
    • Über ein oder mehrere trainierte Modelle für Virtual Agent oder KI-Sucheverfügen .
    • Über einen Testsatz verfügen, der Testäußerungen mit erwarteten Absichten enthält. Siehe Testsatz erstellen oder Erstellung und Verwaltung von Testsätzen.
    • Erforderliche Rolle: nlu_admin oder admin. Wenn die Rolle nlu_editor einem Modell zugewiesen wird, kann sie Tests ausführen und Testäußerungen für dieses Modell ändern.

    Warum und wann dieser Vorgang ausgeführt wird

    In Batch-Testsfür mehrere Modelle können Sie einen Testsatz verwenden, der nicht der Standardtestsatz des Modells ist.

    Außerdem können Sie mit Batch-Testsfür mehrere Modelle bis zu zehn Modelle gleichzeitig testen. Tests mit weniger Modellen werden jedoch schneller ausgeführt.

    Wenn Sie mehrere Modelle testen, muss Ihr Testsatz mindestens 25 % der Gesamtziele aller Modelle abdecken. Verwenden Sie Testsätze, die Äußerungen enthalten, auf die die Modelle wahrscheinlich in Virtual Agent oder KI-Suchestoßen.

    Hinweis:
    Wenn eine erwartete Absicht in Ihrem Testsatz mit keiner Absicht in Ihren Modellen übereinstimmt, werden diese erwartete Absicht und ihre Testäußerungen übersprungen. Sie werden in den Testergebnissen nicht gezählt oder angezeigt.

    Um ein einzelnes Modell anhand seiner Standardtestreihe zu testen, verwenden Sie die Phase Modell testen und veröffentlichen auf der Übersichtsseite des Modells. Weitere Informationen finden Sie unter Ihr Modell testen und veröffentlichen.

    Prozedur

    1. Navigieren zu Alle > NLU-Workbench > NLU – erweiterte Funktionen > Batch-Tests für mehrfache Modelle.
    2. Klicken Sie auf Einen Testausführen.
    3. Wählen Sie im Fenster „Neuen Batch-Test ausführen“ Ihre Modelle aus der Liste aus.
      Das Fenster zum Ausführen eines neuen Batch-Tests.
    4. Wählen Sie einen Testsatz aus der Liste aus.
    5. Klicken Sie auf Ausführen.
      Die Listenansicht der Batch-Testergebnisse.
      Ihr neuer Test wird in der Testergebnisliste mit einem Test angezeigt... Status.

    Nächste Maßnahme

    Wenn der Batch-Test abgeschlossen ist, ändert sich sein Status in Fertig. Sie können auf den Namen des Testsatzes klicken, um die Testergebnisse anzuzeigen.

    Verwenden Sie die Ergebnisse, um Ihre Modelle anzupassen und zu verbessern. Führen Sie dann den Test erneut aus, um die Leistung zu bewerten.

    Batch-Tests können sich auf Empfehlungen für Konfidenzschwellenwerte auswirken. Weitere Informationen finden Sie unter NLU-Modelleinstellungen.