Fluxo de respostas em tempo real para Now Assist conversas de bate-papo do LLM em vez de aguardar a renderização da mensagem inteira. O streaming permite que as respostas do LLM sejam enviadas imediatamente para ajudar a melhorar o desempenho ao responder a solicitações.

Fluxo de mensagens de resposta do LLM para respostas da base de conhecimento de perguntas e respostas encapsuladas conforme elas são geradas, em vez de o texto de resposta aparecer de uma só vez para os usuários finais. As respostas são transmitidas em uma letra ou uma palavra de cada vez. Depois que os usuários finais inserem uma pergunta ou solicitação no bate-papo, as respostas começam a ser transmitidas e param após a entrega da mensagem completa. Enquanto a resposta está sendo gerada, várias mensagens de carregamento (como Gerando uma resposta) são exibidas. Para obter mais informações e exemplos de mensagens de feedback de carregamento e latência, consulte Feedback de latência em Virtual Agent. Um brilho O ícone aparece enquanto a resposta está sendo gerada. O brilho animado O ícone muda para o ícone estático Virtual Agent depois que a resposta é totalmente carregada.

Dica:

Se você quiser desativar o ícone de faísca animado durante o streaming, defina sn_nowassist_va.nass_animated_avatar_enabled como falso na tabela Propriedade do sistema [sys_properties]. Quando o ícone de faísca animado está desativado, as mensagens de carregamento são seguidas por um ícone. Para obter mais informações sobre essa propriedade do sistema, consulte Available system properties.

O link Mostrar mais aparece depois que seis linhas de texto são transmitidas. Selecionar Mostrar mais fluxos o restante da mensagem até que a mensagem completa seja entregue.

Para habilitar o streaming, configure seus assistentes de IA para transmitir respostas durante a configuração assistida Now Assist em Virtual Agent. Para obter mais informações, consulte Como configurar o Now Assist no Virtual Agent.