Teste de tópico LLM

  • Versão de lançamento: Washingtondc
  • Atualizado 1 de fev. de 2024
  • 7 min. de leitura

    • Visualize, teste e depure tópicos que usam modelos de linguagem grandes (LLMs) na janela de bate-papo Designer do Virtual Agent.

    Você pode testar as funções do seu tópico executando sua conversa em uma janela de teste de bate-papo enquanto trabalha. O cliente de bate-papo da Web (Portal de serviços) é a janela de teste padrão.

    Os tópicos de modelo de linguagem grande (LLM) são mais rápidos e fáceis de testar em comparação com os tópicos Compreensão da linguagem natural (NLU). Por exemplo, você não precisa testar novamente o tópico depois de atualizar enunciados e modelos de retreinamento como com NLU tópicos.

    Se você estiver usando as Integrações do Virtual Agent com aplicações de mensagens de terceiros, os elementos em sua conversa poderão ser exibidos de forma diferente em aplicações de mensagens de terceiros. Teste suas conversas em qualquer aplicação de terceiros onde você deseja implantar Virtual Agent.

    Nota:
    Se o painel Now Assist o Microsoft Teams ou a aplicação Slack estiverem configurados para o seu ambiente, as opções de visualização desses canais serão exibidas na lista de botões de teste. Clique em Visualização no painel Now Assist em Visualização no Microsoft Teams ou em Visualização no Slack na lista para testar seu tópico nesses ambientes.

    Testando seu tópico LLM na janela de teste de bate-papo

    Figura 1. Opções de teste de LLM
    Você pode encontrar opções de teste de LLM na tela Designer do Virtual Agent e na página Tópicos.
    Teste tópicos de LLM na tela Designer do Virtual Agent, selecionando as opções do painel Testar ou Visualizar no Now Assist na barra de cabeçalho do tópico.
    Nota:
    Se o seu tópico não tiver materiais necessários, um selo incompleto aparecerá no canto do painel do diagrama de fluxo. Um selo de aviso amarelo ou vermelho também aparece ao lado de cada nó. O selo incompleto lista o número total de problemas, enquanto os selos de aviso locais mostram quantos foram encontrados em cada nó. Se você selecionar Testar quando houver problemas, uma janela Problemas será aberta com o número de problemas presentes junto com os detalhes de cada problema. Esses detalhes incluem uma descrição completa e um hiperlink para cada item incompleto.

    Como alternativa, você pode testar tópicos de LLM ativos (publicados) na página Tópicos. Use o filtro do Assistente de LLM para restringir seus tópicos somente aos associados ao assistente e selecione Testar tópicos ativos. Se você não usar o filtro do Assistente de LLM, selecione Testar tópicos de LLM no menu suspenso Testar tópicos ativos para testar tópicos associados ao assistente de LLM. Para obter mais informações sobre o assistente de LLM, consulte Assistentes de LLM.

    A janela de teste de bate-papo é aberta no cliente Web e exibe guias adjacentes que fornecem detalhes sobre o tópico conforme você o testa. As seguintes guias estão disponíveis ao testar tópicos do LLM:

    • Analisar frases de teste - Resultados da descoberta de tópicos com base na sua entrada.
    • Prompt discovery — Lista de todos os prompts no tópico que são enviados para o LLM.
    • Variáveis - Lista de todas as variáveis usadas na conversa, como variáveis de entrada e Atendente.
    • Editar variáveis - Opções para editar as variáveis usadas neste tópico.
    • Contexto - Opções para especificar o contexto (usando variáveis de contexto) no qual um tópico será executado.
    • Logs - Lista do processamento realizado.
    Figura 2. Exemplo de janela de teste de bate-papo de teste do LLM e guias de teste
    Guias diferentes aparecem com base no tipo de tópico do LLM que você está testando.
    As seguintes guias aparecem quando você testa os tipos de tópico relacionados na tela Designer do Virtual Agent :
    • As guias Analisar frases de teste, Prompt discovery, Variáveise Logs aparecem para todos os tipos de tópico LLM.
    • A guia Editar variáveis aparece para blocos de tópico e controles personalizados.
    • A guia Contexto aparece para tópicos, tópicos de configuração ou tópicos de conversa superficial quando você seleciona Incluir descoberta de tópico.

    Se você executar testes na página Tópicos, a janela de teste mostrará somente as guias Analisar frases de teste, Variáveis, Contexto (disponível por padrão, sem a opção Incluir descoberta de tópico ) e Logs.

    Analisar a guia de frases do teste

    Quando você testa tópicos habilitados para LLM, os resultados da descoberta de tópicos aparecem com base na sua entrada. Ao inserir uma frase de teste, você vê os resultados do tópico para a Descoberta de habilidades, incluindo Habilidades de entrada e Habilidades de saída. A saída de descoberta de tópico final inclui classificações que descrevem a precisão do tópico selecionado versus sua entrada.

    Figura 3. Exemplo da guia Analisar frases de teste para tópicos de LLM
    Guia Analisar frases de teste, mostrando resultados de frase de teste para a Descoberta de habilidades, cada um com categorias de Habilidades de entrada e Habilidades de saída.

    Habilidades de entrada de descoberta de habilidades são os tópicos do LLM pesquisados pelo Now LLM. As habilidades de saída de descoberta de habilidades mostram o tópico mais provável que o Now LLM apresenta para corresponder à sua frase de teste. A barra de Habilidades de saída mostra um resultado de Confiança de Claro, Inseguroou Desconhecido. O tópico usado em Habilidades de saída mostra um Booliano para Correspondente ou Não correspondente, junto com uma pontuação percentual. Variáveis e valores também podem ser listados (como a variável @laptop_make e o valor macbook), dependendo da habilidade ou do tópico.

    Se a barra de habilidades de saída mostrar resultados ruins, você poderá melhorá-los ajustando a descrição do tópico e todas as instruções nos nós do tópico.

    Além disso, ao testar tópicos ativos do assistente de LLM na página Tópicos, você vê resultados de habilidades para a pesquisa semântica, incluindo habilidades de entrada e habilidades de saída. A pesquisa semântica analisa os significados e o contexto dos termos de pesquisa e usa essas informações para encontrar resultados com significados semelhantes. Ele melhora o recall da pesquisa, interpretando a linguagem natural para refletir com mais precisão a intenção da pesquisa. Se a pesquisa semântica for desativada para o teste de descoberta de tópico, esses resultados não serão exibidos. Para obter mais informações sobre pesquisa semântica, consulte Semantic vector search in AI Search.

    Solicitar guia de descoberta

    Se o seu tópico contiver avisos enviados para o LLM, eles serão mostrados em duas categorias: Tópicos e Nós. A categoria Tópico contém o nome e a descrição do próprio tópico. A categoria Nós lista os nós de entrada do usuário habilitados para LLM na tela, seus nomes e tipos de campo e seu conteúdo.

    Você pode modificar a descrição do tópico, junto com o conteúdo de qualquer uma das sugestões, para desenvolver sugestões ideais para a conversa. O status de cada aviso começa em Aviso original. Se você alterar o conteúdo de um aviso, seu status mudará para Aviso modificado e um ícone de reversão ( Ícone de reversão .) aparecerá ao lado dele. O número total de sugestões modificadas é listado na parte inferior da guia ao lado de um botão Salvar no tópico. Para testar os prompts modificados, selecione Aplicar e reiniciar. Para desfazer mudanças em um prompt, selecione o ícone de reversão ao lado do prompt. Como alternativa, desfaça todas as mudanças selecionando Reverter que é ativado quando você modifica qualquer aviso.
    Nota:
    Se você selecionar Salvar no tópico, todas as mudanças serão salvas e todas as mensagens de aviso de modificação serão redefinidas para o aviso original.
    Figura 4. Exemplo de guia de descoberta de aviso
    Guia Prompt de descoberta mostrando as categorias de Tópico e Nós.
    Figura 5. Exemplo de guia de descoberta de aviso com uma modificação
    Guia de descoberta de aviso com atualizações de Aviso modificado e Salvar no tópico. As opções Reverter e Aplicar e Reiniciar são ativadas quando você faz mudanças.

    Guia Variáveis

    A guia Variáveis exibe uma lista de todas as variáveis usadas na conversa e os valores associados capturados conforme o andamento da conversa, para que você possa acompanhar. Uma conversa pode ter estes tipos de variáveis:
    • Variáveis de entrada
    • Variáveis de script
    • variáveis Atendente
    • Variáveis passadas entre um tópico de chamada e um bloco de tópicos
    A lista é separada em seções por tipos de variáveis. O exemplo a seguir mostra a seção Variáveis de entrada. Observe que, para o controle de lista estática, o rótulo de exibição e o valor são capturados para a opção selecionada.
    Figura 6. Exemplo de lista de variáveis de entrada
    Guia Variáveis que mostra as variáveis de entrada e os valores, ao lado de uma captura de tela do fluxo de conversa.

    O exemplo a seguir mostra a seção Variáveis de entrada para o controle de lista agrupada. Essas informações de variável aparecem semelhantes ao controle de lista estática, mas as variáveis são separadas por cada grupo da opção agrupada.

    Figura 7. Exemplo de lista de variáveis de opção agrupadas
    Guia Variáveis separada por grupo, com o nó e o nome do grupo realçados.

    Editar guia de variáveis

    Ao testar tópicos, blocos de tópicos e tópicos de conversa fiada, você pode editar as variáveis encontradas nos nós do tópico.

    Edite variáveis nos nós do tópico.

    Guia Contexto

    A guia Contexto aparece quando você está testando tópicos, tópicos de configuração ou tópicos de conversa superficial, para especificar um contexto diferente para o bate-papo. Escolha uma variável de contexto na lista. As variáveis contêm informações contextuais que podem ser usadas para determinar a intenção do tópico ou controlar como os bate-papos são roteados para atendentes. Por exemplo, você pode selecionar portal na lista de variáveis e inserir o nome do portal IT Express. A guia Contexto não está disponível ao criar casos de teste.

    Para obter mais informações sobre como definir variáveis de contexto, consulte Como configurar variáveis de contexto para armazenar informações relacionadas ao bate-papo. Para obter mais informações sobre variáveis de agente dinâmico incluídas com Virtual Agent, consulte Variáveis de contexto do atendente..

    Figura 8. Exemplo de guia de contexto
    Guia Contexto com o valor do portal de contexto do portal de serviços.

    Próximas etapas

    Quando terminar de testar seu tópico, feche a janela de bate-papo de teste. Se necessário, use as informações do teste para ajustar o tópico para que seja executado com mais precisão. Por exemplo, os resultados na guia Analisar frases de teste podem retornar pontuações baixas ou classificações de confiança Inseguro ou Desconhecido. Melhore as pontuações atualizando a descrição do tópico ou as instruções nos nós de entrada do usuário habilitados para LLM.