Now LLM für F&A
In diesem Dokument werden Änderungen an Now LLM für Q&A nach Release beschrieben.
März 2024
- Verbessertes Q&A-Modell durch Wechsel vom Nemo-basierten Modell zu einem Mistral-basierten Now LLM.
- > 2-fache Verbesserung der durchschnittlichen Latenz und > 3-fache Verbesserung der 90. Perzentil-Latenz.
- ~ 25 % relative Verbesserung der Qualitätsmetriken des Modells (Genauigkeit, Vollständigkeit, Kürze und Formatierung).
- Die Anzahl der erforderlichen GPUs pro Modell wurde von 2 auf 1 reduziert.
Februar 2024
Keine Updates.