전체 메시지가 렌더링될 때까지 기다리지 않고 LLM 채팅 대화를 위해 Now Assist 실시간으로 응답 스트림을 합성했습니다. 스트리밍을 사용하면 LLM의 응답을 즉시 전송하여 요청에 응답할 때 성능을 개선할 수 있습니다.

합성된 응답에 대한 LLM 응답 메시지 스트림 최종 사용자에게 한 번에 모두 표시되지 않고 생성되기 때문입니다. 응답은 한 번에 한 글자 또는 한 단어로 스트리밍됩니다. 최종 사용자가 채팅에 질문이나 요청을 입력하면 합성된 응답이 스트리밍되기 시작하고 전체 메시지가 전달된 후 스트리밍을 중지합니다. 응답이 생성되는 동안 다양한 로딩 메시지(예: 응답 생성)가 나타납니다. 메시지 로드에 대한 자세한 내용과 예는 다음 문서를 참조하십시오 가상 에이전트의 대기 시간 피드백. 애니메이션 반짝임 응답이 생성되는 동안 아이콘이 나타납니다. 애니메이션 반짝임 응답이 완전히 로드되면 아이콘이 정적 브랜드 가상 에이전트 아이콘으로 변경됩니다.

팁:

스트리밍 중에 애니메이션 반짝임 아이콘을 끄려면 시스템 속성 [sys_properties] 테이블에서 false로 설정합니다sn_nowassist_va.nass_animated_avatar_enabled. 애니메이션 반짝임 아이콘이 꺼져 있으면 로딩 메시지 뒤에 애니메이션 줄임표 아이콘을 클릭합니다. 이 시스템 속성에 대한 자세한 내용은 다음 문서를 참조하십시오 Available system properties.

표준 채팅의 경우 6줄의 텍스트가 스트리밍된 후 더 보기 링크가 나타납니다. 더 보기를 선택하면 전체 메시지가 배달될 때까지 메시지의 나머지 부분을 스트리밍합니다.

향상된 채팅의 경우 스트리밍은 적용되는 모든 곳에서 합성된 응답에 적용할 수 있습니다. 스트리밍이 완료되면 합성된 전체 응답이 잘린 응답 대신 채팅 창이나 개선된 채팅에 표시됩니다. 합성된 응답은 채팅 창 또는 포털의 검색 결과 페이지뿐만 아니라 개선된 채팅의 Now Assist 탭에서 스트리밍할 수 있습니다.

스트리밍을 활성화하려면 안내 설정 중에 응답을 스트리밍하도록 AI 도우미를 Now Assist가상 에이전트 구성합니다. 자세한 내용은 도우미 구성 개요 문서를 참조하십시오.