NLU Desempenho do modelo
Use NLU Desempenho do modelo para ver o desempenho dos modelos previstos em Virtual Agent (VA) com base na confirmação do usuário final.
Resumo de uso
A aplicação NLU Model Performance fornece uma análise e um relatório de como seus modelos NLU preveem as intenções dos usuários do VA a partir de seus enunciados. Conforme os modelos NLU para VA são atualizados, publicados e implantados, você pode usar o Desempenho do modelo NLU para revisar a eficácia das previsões de intenção que eles fazem. Se essas previsões forem ignoradas, é porque elas não podem prever uma intenção com uma pontuação de confiança alta o suficiente para o modelo. Para melhorar a previsão do tópico do VA, o sistema agrupa enunciados do VA sem suporte em clusters para uma análise e, em seguida, gera um relatório que identifica o resultado da análise. Para acessar esta aplicação, use a função nlu_admin ou admin e navegue até .
Instalação
NLU O Model Performance é um aplicativo disponível na ServiceNow® Store. Para usar esta aplicação, certifique-se de que o plug-in Workbench de NLU - Recursos avançados (sn_nlu_workbench) esteja ativo na sua instância. Para obter mais informações, consulte Instalar recursos avançados do Workbench de NLU e Ativar o Workbench de NLU. Como o desempenho do modelo de NLU depende dos dados provenientes do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ativação do Virtual Agent.
Como definir as configurações de Conversational Interfaces para ServiceNow NLU
Para ajudar no acompanhamento do desempenho de NLU, primeiro defina as configurações de Interfaces conversacionais (IC) em Virtual Agent. Para acessar essas configurações, navegue até a parte superior da página principal do NLU Model Performance for Virtual Agent e clique em Conversational Interfaces Configurações. Esta ação leva você para a página de configurações de IC no Virtual Agent, conforme mostrado na imagem abaixo.
Para definir as configurações, você precisa usar a função virtual_agent_admin ou admin. Para obter orientação de configuração, consulte Implementar NLU no Virtual Agent e Habilitar idiomas NLU nas configurações do Virtual Agent.
Revisando a interface do usuário (IU)
- A guia Desempenho e seu gráfico colorido que mostram dados que descrevem cenários que ocorrem quando os usuários interagem com o VA. Este gráfico é segmentado em tons de três cores, cada uma representando um cenário de usuário. As linhas no gráfico que têm texto e porcentagens são chamadas de legenda. Os três cenários na primeira linha da legenda têm dois cenários de resultado abaixo deles na segunda linha. As barras abaixo da legenda correspondem às cores dos cenários acima delas. Essas barras variam em tamanho com base no valor percentual de cada cenário.
- Por exemplo, a barra azul escura mostra que 10% deste lote de usuários do VA confirmaram que o sistema apresentou a eles o tópico correto a ser usado para a conversa de chatbot do VA e que 58% dos usuários (representados pela barra vermelha escura) confirmou que o tópico apresentado a eles estava incorreto. Entre esses dois cenários está um cenário que mostra que 32% dos usuários (representados pela barra cinza escuro) não fizeram nenhuma confirmação.
- É uma boa ideia alternar o filtro Mostrar todas as barras para frente e para trás a qualquer momento para ver ou ocultar as barras coloridas e os cenários associados no gráfico. Observe também que, quando você acessa o Desempenho do modelo de NLU pela primeira vez, a exibição padrão do gráfico mostra somente a primeira linha de cenários e a primeira linha de barras.
- Também há outras exibições que você pode ver, dependendo do cenário que está exibindo. Por exemplo, quando você acessa o Desempenho do modelo de NLU pela primeira vez e clica em um cenário na primeira linha da legenda, o sistema oculta as barras dos outros dois cenários. Isso ajuda a manter a IU menos desordenada porque isola parcialmente o cenário em que você está se concentrando do restante dos cenários. Essas ações não mudam nenhum dado, elas simplesmente mostram diferentes exibições da legenda e das barras no gráfico.
- A guia enunciados sem suporte, que mostra enunciados agrupados em clusters para uso na análise de desempenho. Esta seção da IU é onde você pode navegar e retornar da aplicação Ciclo de feedback de especialista e também onde você pode executar a análise.
Os enunciados sem suporte são diferentes dos enunciados irrelevantes. Para obter mais informações, consulte Detecção de irrelevância no NLU.
- A seção Detalhes de desempenho localizada abaixo do gráfico de barras. Esta seção tem estas quatro colunas: Enunciado, Intenção prevista, Modelode previsão e Resultado da previsão. Os detalhes mostrados nesta seção interagem com os dados da legenda e da barra acima deles.
Revisando os cenários de usuário do VA
Na seção de legenda da IU, o texto e as porcentagens são acompanhados por ícones de informações. Aponte para um ícone para invocar a definição de seu cenário de usuário. Consulte a tabela abaixo para ver as definições.
| Cenário | Definição |
|---|---|
| Usuário confirmado como correto | O tópico correto foi apresentado ao usuário final e o usuário final confirmou que está correto. |
| Tópico iniciado, usuário confirmou como correto | O tópico foi iniciado e o usuário confirmou que é o tópico necessário. |
| Menu de tópicos apresentado, o usuário selecionou um | Vários tópicos foram mostrados como um menu para o usuário e o usuário escolheu um dos tópicos para suprir sua necessidade. |
| O usuário não fez nenhuma confirmação | O tópico foi iniciado, mas o usuário não confirmou se ele atendeu ou não à sua necessidade. |
| Nenhuma previsão feita, tópico de fallback iniciado | Nenhuma previsão foi feita e o tópico de fallback foi iniciado. |
| Tópico iniciado, sem confirmação do usuário | O tópico foi iniciado, mas o usuário não confirmou se ele estava correto. |
| Usuário confirmou como incorreto | Os tópicos apresentados não atenderam às necessidades do usuário final e o usuário confirmou que não está correto. |
| Tópico iniciado, usuário confirmou como incorreto | O tópico foi iniciado e o usuário confirmou que não estava correto. |
| Menu de tópicos apresentado, o usuário não selecionou nenhum | Vários tópicos foram mostrados como um menu para o usuário e o usuário decidiu que nenhum dos tópicos era relevante e não escolheu nenhum tópico. |
Usando os filtros de idioma e modelo
Na guia Desempenho, você pode ver os filtros de Idioma e Modelo. Ao lado deles, você também pode ver os valores de intervalo de datas mais recentes que definiu acima da legenda e das barras do gráfico. Clique no filtro Idioma para ver todos os idiomas disponíveis em NLU. Clique no filtro Modelo para ver todos os modelos de previsão disponíveis em sua instância. A configuração padrão do filtro Idioma é Todos os idiomase a configuração padrão do filtro Modelo é Todos os modelos.
Os filtros Idioma e Modelo interagem entre si. Por exemplo, se você escolher Francês-fr no filtro Idioma, o filtro Modelo mostrará automaticamente todos os modelos de previsão em sua instância que usam o idioma francês, conforme mostrado na imagem a seguir.
- Se você selecionar um modelo específico no filtro Modelo, o valor do filtro Idioma será atualizado para exibir o idioma do modelo selecionado.
- Se você selecionar um idioma específico no filtro Idioma, o filtro Modelo exibirá somente os modelos desse idioma selecionado.
Configurando o intervalo de datas
Na guia Desempenho, use o intervalo de datas para definir o quanto você deseja que o sistema extraia os dados do VA. Escolha Últimos 30 dias, Últimos 60 dias, Últimos 90 diasou Intervalo personalizado. Quanto mais você voltar no intervalo de datas, mais dados terá em sua análise.
Executando uma análise
Para executar uma análise de desempenho, clique na guia Enunciados sem suporte. Esta seção da IU mostra linhas de clusters expansíveis que contêm enunciados do VA em que NLU não fez uma previsão de tópico ou em que o usuário final do VA confirmou que o tópico previsto estava incorreto. A próxima coisa a fazer é clicar em Ciclo de feedback de especialista. Esta ação leva você para a aplicação Ciclo de feedback de especialista de NLU, onde você revisa e fornece feedback sobre os enunciados que foram extraídos do VA.
Ao sair da aplicação Ciclo de feedback de especialista e retornar ao Desempenho do modelo de NLU, clique no ícone de cursor em qualquer cluster para abri-lo. No cluster, você pode ver os principais enunciados do VA mais representativos, conforme mostrado na imagem a seguir.
Clique em Executar análise ou Executar novamente análise, o que estiver disponível. Cada vez que você executa uma análise, o sistema extrai os enunciados do VA mais recentes para a análise.