Teste e publique seu modelo

  • Versão de lançamento: Yokohama
  • Atualizado 30 de jan. de 2025
  • 3 min. de leitura
  • Avalie o desempenho do seu modelo NLU para identificar áreas de melhoria. Em seguida, publique seu modelo para disponibilizá-lo para outras aplicações, como Virtual Agent.

    Resumo de uso

    Teste seu modelo Virtual Agent ou Pesquisa com IA em relação ao conjunto de testes padrão para ver como o modelo responde. Os resultados de testes fornecem informações que você pode usar para melhorar seu modelo.

    Nota:
    O teste do seu modelo requer o recurso de teste em lote de vários modelos, disponível com a aplicação Workbench de NLU - Recursos avançados em ServiceNow® Store. Para obter mais informações, consulte Instalar Workbench de NLU - Recursos avançados.

    Para testar seu modelo, navegue até Workbench de NLU > Modelos. Selecione a guia da aplicação do seu modelo e selecione o nome do modelo. No cartão Testar e publicar seu modelo, selecione a fase Exibir. Testar e publicar seu cartão de fase do modelo

    Visão geral de como testar e publicar seu modelo

    A fase Testar e publicar seu modelo é aberta na página Visão geral por padrão. Os botões para Executar novo teste e Publicar modelo estão localizados aqui.

    Testar e publicar a página de visão geral do modelo

    A visão geral fornece informações sobre uma simulação anterior, com gráficos de barras resumindo os resultados do teste.

    Se você tiver simulações anteriores, poderá exibi-las selecionando na lista Data da simulação.

    Menu suspenso de data da simulação

    Para fazer uma busca detalhada na tabela de resultados de testes, selecione a guia Resultados detalhados. Cada enunciado de teste é listado em Resultados detalhados, com sua previsão.

    Noções básicas sobre resultados de testes

    Os resultados de testes mostram como seu modelo respondeu aos enunciados no conjunto de testes.

    Resultados de testes para um teste de modelo no Workbench de NLU.

    O gráfico de barras mostra as porcentagens de previsão para correto, correto entre vários, perdido e incorreto:
    Percentagem Descrição
    Correto A porcentagem de enunciados para os quais seu modelo previu corretamente a intenção.

    Quando o modelo não prevê nenhuma intenção para enunciados marcados como Não relevante, esse resultado é contado como Correto.

    Correto entre vários

    Para enunciados que tinham mais de uma intenção prevista.

    A porcentagem de enunciados para os quais o modelo previu corretamente a intenção ou as intenções, mas também previu intenções que não pertenciam ao enunciado.

    Perdido A porcentagem de enunciados para os quais seu modelo não previu uma intenção, embora houvesse uma intenção esperada.
    Incorreto A porcentagem de enunciados para os quais seu modelo previu uma intenção que não estava correta.

    O teste pode afetar o limite de confiança do modelo. O limite de confiança determina o quão confiável um modelo deve estar para prever uma intenção de um enunciado. Para obter mais informações sobre limites de confiança, consulte Configurações do modelo de NLU.

    Para obter informações sobre enunciados que não devem ter nenhuma intenção prevista, consulte Detecção de irrelevância no NLU.

    Publicar modelo

    O botão Publicar modelo disponibiliza a versão atual do modelo para outras aplicações, como Virtual Agent.
    Nota:
    Se o modelo não tiver sido treinado, o botão Publicar modelo não estará disponível. Retorne à fase Criar e treinar seu modelo para treinar o modelo antes da publicação.

    Para obter mais informações sobre como publicar seu modelo, consulte Publicar seu modelo NLU.

    Teste em lote para vários modelos

    Na fase Testar e publicar seu modelo, você testa seu modelo em relação ao conjunto de testes padrão. Com o Teste em lote de vários modelos, você pode testar em relação a outros conjuntos de testes, testar vários modelos de uma só vez e ver os resultados de testes. Para usar o Teste em lote de vários modelos, navegue até Workbench de NLU > Recursos avançados de NLU > Teste em lote para vários modelos.

    Para obter mais informações, consulte Teste em lote para vários modelos.

    Para obter mais informações sobre conjuntos de testes, consulte:

    Para obter informações sobre o processo de teste, consulte Teste seu modelo.