NLU Ciclo de feedback de especialista
Forneça feedback sobre Virtual Agent enunciados do log de bate-papo para ajudar o sistema a aprender continuamente e para prever melhor a entrada do usuário.
Resumo de uso
O Ciclo de feedback de especialista obtém os dados da sua instância e os fornece a você para feedback. Esses dados vêm dos logs de bate-papo do Virtual Agent (VA) dos usuários e incluem enunciados desses logs. Usando a função nlu_admin, navegue até e marcam cada enunciado em um modelo, confirmando se o enunciado está correto (correspondência) ou incorreto (incompatibilidade) com uma intenção. Esse feedback ajuda o modelo a melhorar continuamente o desempenho do modelo.
Instalação
O ciclo de feedback de especialista faz parte do aplicativo Recursos avançados do Workbench de NLU disponível no ServiceNow® Store.
Para usar o Ciclo de feedback de especialista, certifique-se de que o plug-in Workbench de NLU - Recursos avançados (sn_nlu_workbench) esteja ativo na sua instância. Para obter mais informações, consulte Instalar recursos avançados do Workbench de NLU e Ativar o Workbench de NLU.
Como o ciclo de feedback de especialista depende dos dados dos logs de bate-papo do VA, certifique-se de que o plug-in Glide Virtual Agent (com.glide.cs.chatbot) também esteja ativo. Consulte Ativação do Virtual Agent.
Importação de dados de loop de feedback de especialista entre instâncias
Antes de iniciar uma importação, verifique se você tem acesso aos dados em sua instância e se tem dados suficientes para prosseguir com seu feedback.
Se você estiver trabalhando em uma instância de produto em fase de desenvolvimento, deverá importar os dados de feedback da tabela open_nlu_predict_intent_feedback em sua instância de produção para sua instância de produto em fase de desenvolvimento. Para obter orientação sobre como importar, consulte Importar de outra instância da ServiceNow.
- Se você mover um modelo para uma instância diferente, os dados de feedback persistirão.
- Se você atualizar a instância, os dados de feedback persistirão.
- Se você clonar uma instância, os dados não persistirão, portanto, será necessário seguir o procedimento mencionado acima para importar os dados para a instância clonada.
Contexto de feedback e acesso
O ciclo de feedback de especialista fornece um mecanismo para você melhorar os modelos NLU implantados no VA por meio do feedback que você fornece em um subconjunto selecionado de enunciados. Para cada enunciado, você será solicitado a confirmar a intenção prevista ou a fornecer a intenção correta à qual o enunciado pertence. Depois que esse feedback for concluído, os dados serão usados para ajustar o desempenho do modelo, resultando em um modelo aprimorado que agora pode ser reimplantado para coletar mais dados do usuário final. Este é um ciclo iterativo que permite ao sistema coletar dados continuamente, aprender com o feedback fornecido e usar esse feedback para melhorar ainda mais seus modelos NLU.
Uma vez a cada 30 dias, o sistema extrai até 300 amostras de enunciado dos logs de bate-papo do VA para o ciclo de feedback de especialista. Os enunciados são selecionados para feedback com base em quão bem eles representam todos os enunciados nos logs. Cada enunciado amostrado dos logs de bate-papo do VA tem uma intenção prevista selecionada pelo sistema.
Você também pode definir o número de enunciados que deseja extrair dos logs de bate-papo do VA, ajustando a configuração da propriedade do sistema glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size.
Ao revisar os enunciados, decida se cada enunciado pertence à intenção prevista ou deve ser movido para uma intenção diferente. Se você não tiver certeza sobre a intenção correta, o enunciado poderá ser marcado para ser revisitado para revisão posterior. Depois de marcar pelo menos 100 enunciados com seu feedback, o sistema usará todos os enunciados marcados para ajustar e melhorar o modelo.
Revisando seus enunciados de log de bate-papo do VA
Agora que você está no loop, pode ver na imagem a seguir uma lista de NLU enunciados que oferecem suporte às intenções nos modelos de VA. Cada página da lista mostra aproximadamente 20 enunciados por página. Seu objetivo é revisar cada enunciado e marcar seu status de relacionamento com uma determinada intenção do VA. Você marca cada enunciado com o valor NLU_Match, Incompatibilidadeou Inseguro.
Marcar um enunciado como NLU_Match significa que você concorda com a previsão de NLU para esse enunciado. Marcar um enunciado como Incompatibilidade significa que o enunciado pertence a uma intenção diferente e, se você selecionar Incompatibilidade, será exibido um menu suspenso de intenções para que você possa selecionar a intenção correta. Se você não tiver certeza de qual intenção está correta, poderá marcá-la como Incerta.
Os enunciados marcados e salvos com o valor NLU_Match ou o valor Incompatibilidade são movidos para a seção Revisões concluídas. Os enunciados marcados e salvos com o valor Inseguro são movidos para a seção Precisa de revisão adicional.
- Na parte superior da tela Exportar ciclo de feedback, selecione um modelo que você deseja revisar no prompt do Ciclo de feedback de especialista para. Nesse recurso, de certa forma, não importa qual modelo você escolher, porque esses modelos servem principalmente para hospedar os enunciados que você está marcando em suas revisões. Portanto, neste cenário de exemplo, você decide selecionar o modelo de TI, que tem cinco intenções e muitos enunciados em cada uma dessas intenções. O número de enunciados que você precisa revisar é mostrado ao lado do nome da intenção prevista, conforme mostrado na imagem a seguir. As intenções nesses modelos são listadas na coluna Intenções previstas na tela. Embora você possa revisar e marcar enunciados em qualquer uma das intenções previstas, é uma ideia melhor concluir as revisões consecutivamente na ordem em que as intenções aparecem pela primeira vez. Por exemplo, comece com a intenção ad_password_change e, em seguida, avance para outras intenções previstas.
- Clique na intenção ad_password_change para que ela carregue seus enunciados na seção Tarefa para sua revisão.
- Revise os 15 enunciados na intenção. Neste cenário, você começou marcando corretamente o enunciado "Quero mudar minha senha do AD " como uma correspondência com a intenção ad_password_change.
- Clique em Salvar feedback.Resultado: o sistema move o enunciado marcado para a seção Concluído da tela. Ao mesmo tempo, a contagem de enunciados pendentes cai de 15 para 14, enquanto a contagem na seção Concluído aumenta de 0 para 1. Se você também tivesse marcado outro enunciado com o valor Inseguro e salvo essa mudança, a contagem de enunciados na seção Precisa de revisão adicional também aumentaria de 0 para 1.Nota:Se você não souber qual intenção corresponde melhor ao enunciado, marque-a com o valor Inseguro. Esta ação move o enunciado para a seção Precisa de revisão adicional, dando a você tempo para marcar outros enunciados na seção Pendente que podem ser mais fáceis de corresponder ou não a uma intenção. Você sempre pode retornar à seção Precisa de revisão adicional para marcar enunciados que são mais difíceis de definir para uma intenção específica.
- Repita as etapas 1 a 4 ao percorrer as intenções restantes na coluna Intenções previstas.
Os enunciados na intenção ad_password_change são fáceis de marcar como uma correspondência com a intenção prevista porque há pelo menos um enunciado na intenção que tem a palavra password.
Quando terminar de revisar os enunciados na intenção prevista e clicar em Salvar feedback, a tela será atualizada para realçar a próxima intenção prevista no modelo.
Se você quiser ver seus enunciados agrupados por valor, clique no filtro Mostrando e selecione uma das opções no prompt. Os valores são All, NLU_Matche Unsure.
Usando a opção de exibição de cartão para revisar seus enunciados
Seus enunciados do Ciclo de feedback de especialista aparecem na seção Tarefa em uma exibição de lista por padrão, conforme mostrado em muitas das imagens que você viu até agora acima. No entanto, você também pode escolher uma exibição diferente que mostra cada enunciado enquadrado em um cartão. Se você escolher esta opção, cada enunciado aparecerá na página em grupos de cinco. Ainda na exibição de lista, clique no ícone do cartão.
Resultado: a exibição do cartão substitui a exibição da lista. Observe as setas para a esquerda e para a direita em ambos os lados da página dos cartões de enunciado. Quando você clica na seta para a direita, ela muda a página para o próximo conjunto de cinco cartões. Quando você clica na seta para a esquerda, ela muda a página para o conjunto anterior de cinco cartões. Se você quiser voltar para a exibição de lista em vez da exibição de cartão, clique no ícone de lista, conforme mostrado no canto superior direito da imagem abaixo.
Alterando um valor de enunciado
Se você marcar um enunciado, mas mudar de ideia sobre o valor escolhido, poderá resolver o problema clicando em Incompatibilidade e selecionando outra intenção. Clique em Salvar feedback para salvar a mudança.
Feedback não salvo
Se você terminar e sair de uma sessão de marcação de seus enunciados, mas se esquecer de salvar suas mudanças, selecione Mudanças não salvas no prompt Mostrando. Esta ação exibe todos os enunciados para os quais você forneceu feedback, mas ainda não salvou.
Como obter dados adicionais de feedback do VA sob demanda
- Use a função nlu_admin e navegue até .
- Clique em Aprendizagem ativa.
- Clique em Executar agora.
- Aumente ou defina os valores nas quatro NLU propriedades do sistema a seguir.
- glide.mlpredictor.option.nlu.activeLearning.va_chat_logs.max_row_limit - 3000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_table.max_data_size - 10000
- glide.mlpredictor.option.nlu.activeLearning.label_candidate_table.max_response_size-300
Para ver como essas propriedades funcionam no contexto de outras propriedades NLU, consulte propriedades de Workbench de NLU.
Revisando enunciados sem categoria
Como parte do feed dos logs de bate-papo do VA para o ciclo de feedback de especialista, o sistema coleta e exibe em uma lista todos os enunciados em sua instância que não fazem parte de uma intenção do VA. Você acessa esses enunciados selecionando Sem categoria no Ciclo de feedback de especialista para o prompt na parte superior da tela.
- Na coluna Enunciado, selecione um enunciado na lista.
- Na coluna Intenção corrigida, pesquise e selecione uma intenção e seu modelo no prompt que você acha que é a melhor correspondência para o enunciado.
Em relação à imagem acima, vamos abordar alguns itens que ajudam a descrever como a página de enunciados sem categoria funciona, da seguinte forma. A seção Tarefa coleta enunciados que devem ser conectados a uma intenção. Neste dia específico, vemos que há 120 enunciados desse tipo. Observe que a seção Concluído na tela não tem enunciados porque você ainda não realizou nenhuma ação.
Observe também que há uma barra vertical na extremidade direita da tela, na qual você pode rolar para cima e para baixo para navegar na lista de enunciados. Na parte inferior desta tela de rolagem, há setas que apontam para a esquerda e para a direita para que você possa ir para a página seguinte ou anterior da lista de enunciados completa do dia.
Observe também que quando você executa uma ação para fazer uma conexão, o botão Salvar feedback, normalmente ativo por padrão, é desativado porque o sistema reconhece sua ação e salva automaticamente a mudança.
Dados do ciclo de feedback de especialista na fase Ajustar modelo
O botão Ajustar modelo no Ciclo de feedback de especialista está sempre habilitado e oferece suporte à experiência de mover enunciados da guia Ciclo de feedback de especialista concluído para o modelo e seu conjunto de testes. Use a função nlu_admin para clicar neste botão sempre que precisar ajustar ou reajustar seu modelo.
Depois de revisar os enunciados no Ciclo de feedback de especialista, você pode enviar uma parte dos dados de feedback para o conjunto de testes padrão do seu modelo. Esses enunciados são adicionados diretamente à guia Testar enunciados do seu modelo. Isso ajuda a manter e atualizar continuamente seu conjunto de testes com enunciados reais do usuário final. O sistema rastreia a origem dos enunciados de teste para visibilidade se eles vieram do Ciclo de feedback de especialista ou de outra origem.
Se você clicar no botão Ajustar modelo antes de marcar e salvar pelo menos 100 enunciados, a tela será atualizada para lembrar que o desempenho do modelo aumenta em qualidade quando você ultrapassa a meta de feedback de 100 enunciados, conforme referenciado no texto na imagem abaixo .
Conforme continua marcando e salvando seus dados de feedback, você pode ver a proporção de enunciados revisados (em verde) e aqueles que ainda estão disponíveis para revisão (em branco) na imagem da barra de andamento abaixo.
Como usar o trabalho de aprendizagem ativo
Trabalhos programados, também conhecidos como trabalhos em lote ou programação em lote, são trabalhos automatizados que são realizados em um horário específico ou em uma programação recorrente. Muitos trabalhos são executados em programações, mas agora estamos nos concentrando no trabalho de aprendizagem ativa como exemplo.
- Altere o intervalo de frequência de repetição com o qual o trabalho de aprendizagem ativo será definido para ser executado.
- Verifique quando a próxima execução programada está definida para o trabalho de aprendizagem ativo.
- Execute o trabalho de aprendizagem ativo sempre que quiser (sob demanda).
- Usando a função nlu_admin, navegue até o campo Todos, digite sysauto_script.liste pressione a tecla Enter no teclado. A tela é atualizada para mostrar a página Programação, que lista todos os trabalhos programados.
- Na página Programação, clique em Aprendizado ativo. Um registro para o trabalho de aprendizagem ativo é exibido, conforme mostrado na imagem abaixo.
- No registro de aprendizagem ativa, configure os seguintes campos.
- No campo Executar, selecione uma das oito opções de Intervalo de repetição para o trabalho. As opções são: Diariamente, Semanalmente, Mensalmente, Periodicamente, Um, Sob Demanda, Calendário comercial: Início da entradae Calendário comercial: Término da entrada.
- No campo Intervalo de repetição, insira o número de dias desejado entre agora e o próximo intervalo de repetição para o trabalho de aprendizagem ativo.
- No campo Iniciando, clique no ícone Calendário e escolha o dia e a hora do próximo intervalo de trabalho de aprendizagem ativo.
- Clique no botão Atualizar para salvar suas configurações ou clique no botão Executar agora para iniciar a execução do trabalho de aprendizagem ativa.
- Para verificar quando o próximo trabalho de aprendizagem ativo será executado, navegue até o campo Todos, digite sys_trigger.liste pressione a tecla Enter no teclado. A página Programação é exibida. Clique em Aprendizagem ativa. O registro Item de programação/Aprendizagem ativa aparece e preenche o campo Próxima ação com a data e a hora da próxima execução do trabalho de aprendizagem ativa.