Für Now Assist LLM-Chatunterhaltungen werden Antworten in Echtzeit gestreamt, anstatt auf das Rendern der gesamten Nachricht zu warten. Streaming ermöglicht das sofortige Senden von Antworten vom LLM, um die Leistung bei der Beantwortung von Anforderungen zu verbessern.

LLM-Antwortnachrichten-Stream für synthetisierte Q&A-Knowledge Base-Antworten, da sie generiert werden, anstatt dass der Antworttext Endanwendern gleichzeitig angezeigt wird. Die Antworten werden entweder mit einem Buchstaben oder einem Wort einzeln gestreamt. Nachdem Endanwender eine Frage oder Anforderung in den Chat eingegeben haben, werden Antworten eingestreamt und das Streamen beendet, nachdem die vollständige Nachricht übermittelt wurde. Während die Antwort generiert wird, werden verschiedene Lademeldungen (z. B. Antwort wird generiert) angezeigt. Weitere Informationen und Beispiele für Lade- und Latenzfeedbacknachrichten finden Sie unter Latenz-Feedback in Virtual Agent. Ein animiertes Das Symbol wird angezeigt, während die Antwort generiert wird. Das animierte Das Symbol ändert sich in das statische Markensymbol Virtual Agent, nachdem die Antwort vollständig geladen wurde.

Tipp:

Wenn Sie das animierte Funkelsymbol während des Streamings deaktivieren möchten, setzen Sie sn_nowassist_va.nass_animated_avatar_enabled in der Tabelle „Systemeigenschaft“ [sys_properties] auf „false“. Wenn das Symbol für animierte glitzernde Elemente deaktiviert ist, folgen auf die Ladenachrichten ein animiertes Symbol. Weitere Informationen zu dieser Systemeigenschaft finden Sie unter Available system properties.

Der Link Mehr anzeigen wird angezeigt, nachdem sechs Zeilen Text gestreamt wurden. Wenn Sie Mehr anzeigen auswählen, wird der Rest der Nachricht gestreamt, bis die vollständige Nachricht zugestellt wurde.

Um Streaming zu aktivieren, konfigurieren Sie Ihre KI-Assistenten so, dass Antworten während des geführten Setups Now Assist von in Virtual Agent gestreamt werden. Weitere Informationen finden Sie unter Now Assist in Virtual Agent konfigurieren.