전체 메시지가 렌더링될 때까지 기다리지 않고 LLM 채팅 대화를 위해 Now Assist 응답이 실시간으로 스트리밍됩니다. 스트리밍을 사용하면 LLM의 응답을 즉시 전송하여 요청에 응답할 때 성능을 개선할 수 있습니다.

LLM 응답 메시지는 최종 사용자에게 응답 텍스트를 한꺼번에 표시하는 대신 생성된 합성된 응답 Q&A 지식베이스 답변을 위해 스트리밍됩니다. 응답은 한 번에 한 글자 또는 한 단어로 스트리밍됩니다. 최종 사용자가 채팅에 질문이나 요청을 입력하면 응답이 스트리밍되기 시작하고 전체 메시지가 전달된 후 스트리밍을 중지합니다. 응답이 생성되는 동안 다양한 로딩 메시지(예: 응답 생성)가 나타납니다. 피드백 메시지 로드 및 대기 시간에 대한 자세한 내용과 예는 다음 문서를 참조하십시오 의 대기 시간 피드백 가상 에이전트. 애니메이션 반짝임 응답이 생성되는 동안 아이콘이 나타납니다. 애니메이션 반짝임 응답이 완전히 로드되면 아이콘이 정적 브랜드 가상 에이전트 아이콘으로 변경됩니다.

팁:

스트리밍 중에 애니메이션 반짝임 아이콘을 끄려면 시스템 속성 [sys_properties] 테이블에서 false로 설정하십시오sn_nowassist_va.nass_animated_avatar_enabled. 애니메이션 반짝임 아이콘이 꺼지면 로드 메시지 다음에 애니메이션 줄임표 아이콘. 이 시스템 속성에 대한 자세한 내용은 다음 문서를 참조하십시오 Available system properties.

더 보기 링크는 6줄의 텍스트가 스트리밍된 후에 나타납니다. 더 보기를 선택하면 전체 메시지가 배달될 때까지 메시지의 나머지 부분을 스트리밍합니다.

스트리밍을 활성화하려면 안내 설정 중에 응답을 스트리밍하도록 AI 도우미를 Now Assist가상 에이전트 구성합니다. 자세한 내용은 가상 에이전트에서 Now Assist 구성 문서를 참조하십시오.