Teste em lote para vários modelos

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 3 min. de leitura

    • Teste vários modelos Compreensão da linguagem natural (NLU) em um grande conjunto de enunciados para avaliar o desempenho dos modelos. Adicione conjuntos de testes, teste vários modelos e veja os resultados do teste.

    Resumo de uso

    Use o Teste em lote de vários modelos para criar e carregar conjuntos de testes compostos por enunciados e suas intenções esperadas. Você pode executar testes em seus modelos de NLU.

    O teste em lote de vários modelos funciona com modelos para todas as linguagens de NLU compatíveis. Consulte NLU suporte de idioma.

    Instalação

    O teste em lote de vários modelos faz parte do aplicativo Workbench de NLU - Recursos avançados disponível no ServiceNow® Store.

    Para usar o teste em lote de vários modelos, certifique-se de que o plug-in Workbench de NLU - Recursos avançados (com.snc.nlu.workbench.advanced) esteja ativo na sua instância. Para obter mais informações, consulte Instalar recursos avançados do Workbench de NLU e Ativar o Workbench de NLU.

    Conjuntos de testes

    Osconjuntos de testes são listas de enunciados e intenções correspondentes. Crie um conjunto de testes usando uma tabela em um arquivo CSV ou XLSX (pasta de trabalho do Excel). A tabela deve conter duas colunas: uma para enunciados e uma para a intenção esperada. Seu conjunto de testes pode incluir até 10.000 linhas.

    Para aproveitar ao máximo o teste dos modelos de NLU, os conjuntos de testes devem incluir enunciados que o modelo provavelmente encontrará dos usuários. Os enunciados de teste devem estar no mesmo idioma do modelo a ser testado. O conjunto de testes também deve incluir enunciados sem intenções esperadas. A inclusão de enunciados sem intenção esperada ajuda a avaliar a capacidade do seu modelo de detectar enunciados que são irrelevantes e não devem ter nenhuma intenção prevista.

    Ao incluir esses tipos de enunciados, o teste avalia melhor a capacidade do modelo de perceber intenções e responder aos usuários. Se o seu conjunto de testes não abranger pelo menos 60% das intenções dos modelos, você ainda poderá executar o teste, mas o limite recomendado pode não ser o ideal.
    Nota:
    Certos enunciados de teste serão ignorados durante o teste se a intenção esperada não corresponder a nenhuma intenção nos modelos.

    Para criar um conjunto de testes, consulte Criar um conjunto de testes.

    Depois de ter um conjunto de testes, você pode testar modelos de NLU treinados. Para iniciar o teste, consulte Executar um teste em lote de vários modelos.

    Depois de executar um teste, seus resultados aparecem na página Resultados de testes.

    Resultados de testes

    A página Resultados de testes lista os testes concluídos e em andamento. Rapidamente, a página de resultados mostra os modelos testados, o número de enunciados e os percentuais de previsão.

    Página de teste em lote de vários modelos com testes concluídos.

    Para ver os detalhes de um resultado de teste, clique no nome do conjunto de testes.

    A página Visão geral mostra informações de resumo sobre os resultados e inclui um gráfico com um detalhamento das previsões.

    As intenções que precisam de atenção (modelo atual) mostram as 5 principais intenções ausentes e incorretas. Clique no nome da intenção para ver os enunciados de teste que foram previstos incorretamente. Use essas informações para melhorar o modelo.

    A guia Resultados detalhados lista informações sobre cada enunciado testado. A partir daqui, você pode ver o resultado da previsão e a confiança por modelo para cada enunciado. Filtre os resultados usando a barra de pesquisa ou interagindo com as ferramentas de filtro e os cabeçalhos de coluna.

    Você também pode exportar os resultados do teste para um arquivo CSV clicando em Exportar. O arquivo inclui as mesmas colunas que a página de resultados detalhados.

    Para obter mais informações sobre como entender os resultados do teste, consulte Teste e publique seu modelo.