Now LLM pour Q&R
Ce document décrit les modifications apportées aux questions-réponses Now LLM par version.
Mars 2024
- Amélioration du modèle Q&A en passant d’un modèle basé sur Nemo à un modèle Now LLM basé sur Mistral.
- > 2 fois plus de latence moyenne et >3 fois plus de latence au 90e centile.
- ~25 % d’amélioration relative des mesures de qualité du modèle (précision, exhaustivité, concision et mise en forme).
- Réduction du nombre de GPU requis par modèle de 2 à 1.
Février 2024
Aucune mise à jour.