Now LLM Q&A용
이 문서에서는 릴리스별 Q&A에 Now LLM 대한 변경 사항에 대해 설명합니다.
2024년 3월
- Nemo 기반 모델에서 Mistral 기반 Now LLM으로 전환하여 Q&A 모델을 개선했습니다.
- 평균 대기 시간이 >2배 향상되고 90번째 백분위수 대기 시간이 >3배 향상되었습니다.
- 모델의 품질 메트릭(정확성, 완전성, 간결성 및 서식)의 상대적 개선~25%.
- 모델당 필요한 GPU 수를 2개에서 1개로 줄였습니다.
2024년 2월
업데이트가 없습니다.