Now LLM pour Q&R

  • Rversion finale: Washingtondc
  • Mis à jour 6 mars 2024
  • 1 minute de lecture
  • Ce document décrit les modifications apportées aux questions-réponses Now LLM par version.

    Mars 2024

    • Amélioration du modèle Q&A en passant d’un modèle basé sur Nemo à un modèle Now LLM basé sur Mistral.
    • > 2 fois plus de latence moyenne et >3 fois plus de latence au 90e centile.
    • ~25 % d’amélioration relative des mesures de qualité du modèle (précision, exhaustivité, concision et mise en forme).
    • Réduction du nombre de GPU requis par modèle de 2 à 1.

    Février 2024

    Aucune mise à jour.