Now LLM Q&A용

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 03월 06일
  • 읽기1분
  • 이 문서에서는 릴리스별 Q&A에 Now LLM 대한 변경 사항에 대해 설명합니다.

    2024년 3월

    • Nemo 기반 모델에서 Mistral 기반 Now LLM으로 전환하여 Q&A 모델을 개선했습니다.
    • 평균 대기 시간이 >2배 향상되고 90번째 백분위수 대기 시간이 >3배 향상되었습니다.
    • 모델의 품질 메트릭(정확성, 완전성, 간결성 및 서식)의 상대적 개선~25%.
    • 모델당 필요한 GPU 수를 2개에서 1개로 줄였습니다.

    2024년 2월

    업데이트가 없습니다.