업데이트 Now LLM 서비스

  • 릴리스 버전: Yokohama
  • 업데이트 날짜 2024년 08월 01일
  • 읽기4분
  • ServiceNow Now LLM 서비스 에서 개발한 특화된 대규모 언어 모델(LLM)에 대한 액세스를 제공합니다. 또한 ServiceNow 커뮤니티 및 파트너가 ServiceNow에서 선택, 구성 또는 개선하는 오픈 소스 LLM에 대한 액세스도 제공합니다. 사용된 모델에 대한 Now LLM 서비스 자세한 내용은 이러한 참조 자료 및 모델 카드를 검토하십시오.

    모델 카드

    대규모 언어 모델(LLM)은 케이스 요약 및 해결 메모를 위한 텍스트 생성과 같은 언어 관련 작업을 수행하기 위해 웹 사이트 및 설명서와 같은 대규모 데이터 세트에서 학습된 복잡한 머신 러닝 모델입니다.

    모델 카드는 특정 모델의 컨텍스트, 사용 목적, 교육 데이터, 제한 사항 및 기타 중요한 정보를 설명합니다.

    이러한 모델 카드는 를 Now LLM 서비스사용하는 기술용입니다. 대신 Azure OpenAI를 사용하는 Multi-Turn Catalog Ordering과 같은 Now Assist 특정 기술이 있습니다. 기술이 사용 중인 LLM을 확인하려면 콘솔에서 기술 목록을 Now Assist 관리자 확인하고 LLM 서비스 열을 검토하면 됩니다.

    ServiceNow 텍스트 텍스트 변환 LLM용 모델 카드

    가상 에이전트 주제 실행과 같은 대화형 사용 사례, 경보 분석, AI 검색, 인시던트, 케이스 및 채팅 요약과 같은 대화형 카탈로그 및 에이전트 지원 사용 사례에 사용되는 모델입니다.

    에 대한 모델 카드 ServiceNow 텍스트 코드 변환 LLM
    코드 생성에 사용되는 모델입니다.
    에 대한 모델 카드 ServiceNow 플로우 차선책 LLM
    플로우 권장 사항에 사용되는 모델입니다.
    에 대한 모델 카드 ServiceNow text-to-flow LLM
    플로우 생성에 사용되는 모델입니다.
    에 대한 모델 카드 ServiceNow 텍스트-텍스트 SLM
    Now Assist 보호자, 텍스트-암호 및 빠른 추론과 높은 처리량이 필요한 기타 사용 사례에 사용되는 모델입니다.
    에 대한 모델 카드 ServiceNow 대규모 언어 모델
    자연어 이해, 자동화 및 의사결정 지원을 지원하기 위해 AI 기반 솔루션에 사용되는 모델입니다.
    이 모델 카드는 요코하마 패치 1 이상에서 사용할 수 있습니다.
    에 대한 모델 카드 ServiceNow 작은 언어 모델
    ServiceNow 워크플로우 내에서 텍스트 기반 자동화 및 콘텐츠 생성을 향상하여 엔터프라이즈 AI 애플리케이션에 사용되는 모델입니다.
    이 모델 카드는 요코하마 패치 1 이상에서 사용할 수 있습니다.
    에 대한 모델 카드 ServiceNow 외부 공급업체 대규모 언어 모델
    텍스트 생성, 요약 및 대화형 AI를 위한 AI 기반 솔루션에 사용되는 모델입니다.
    이 모델 카드는 요코하마 패치 1 이상에서 사용할 수 있습니다.

    2025년 3월

    텍스트 코드 변환 및 에이전트 사용 사례를 포함하여 광범위한 애플리케이션을 개선하도록 설계된 강력한 12B 범용 소형 언어 모델(SLM)이 출시되었습니다. Mistral-Nemo-12B에서 미세 조정된 이 제품은 배포를 간소화하고 여러 기능을 단일 아키텍처로 통합합니다.

    주요 개선 사항:
    • 사용 케이스 이행에 최적화됨: 일본어 품질 향상을 포함하여 지원되는 언어에 대한 케이스 요약, 채팅 요약, 해결 메모 및 지식베이스 생성을 향상시킵니다.
    • 우수한 텍스트-코드 및 텍스트-암호화 성능: 구조화된 데이터베이스에 대한 쿼리 생성 및 실행의 정확도 향상과 함께 Glide JavaScript 및 일반 JavaScript 편집 및 생성의 주요 개선 사항을 제공합니다.
    • 강력한 콘텐츠 조정 및 안전: 적대적 프롬프트, 탈옥 시도 및 유해한 콘텐츠 생성에 대한 강력한 보호 기능을 제공하여 내장된 콘텐츠 필터링을 통해 보다 안전한 배포를 보장합니다.
    • 통합 모델 배포: ServiceNow 관련 작업을 단일 모델로 통합하여 시스템 복잡성을 줄이면서 전반적인 성능을 높입니다.
    • 향상된 지침 준수: 현재의 텍스트-텍스트 변환 NowLLM보다 다양한 수준의 프롬프트 및 지침 엄격성에서 더 나은 지침 수행 및 일관성을 제공합니다.

    2024년 11월

    성능과 품질 향상을 목표로 하는 몇 가지 주요 개선 사항이 추가되었습니다 Now LLM 서비스 .

    • 다국어 지원: Now LLM 서비스 8개의 추가 언어를 지원하여 전역 팀이 모국어로 모델을 사용할 수 있습니다.

      지원되는 언어는 영어, 독일어, 프랑스어, 일본어, 네덜란드어, 프랑스어(캐나다), 스페인어, 포르투갈어(브라질) 및 이탈리아어입니다.

    • JSON 형식 지원: 이제 이 모델은 JSON 형식의 출력을 제공하므로 개발자가 더 쉽게 다양한 애플리케이션과 통합하고 워크플로를 원활하게 자동화할 수 있습니다.
      • 결정론적 응답: JSON 모드는 구조화되고 일관된 출력을 보장하여 애플리케이션과 통합할 때 예측 가능성과 안정성을 향상시킵니다.
      • 오류 감소: 자유 형식 텍스트 모드와 달리 JSON 응답은 형식 오류나 문자를 잃을 가능성이 적어 통합 문제를 최소화합니다.
      • 낮은 토큰 소비: JSON의 고정 구조는 토큰 사용을 줄일 수 있으므로 응답 빈도가 높은 애플리케이션에 더 효율적이고 비용 효율적입니다.
    • 다음과 같은 지침 개선 사항: 지침을 보다 정확하게 이해하고 따르도록 모델이 미세 조정되었습니다. 이를 통해 모델은 보다 핵심적이고 실행 가능한 응답을 제공하여 사용자가 필요한 정보를 더 빠르고 효율적으로 얻을 수 있도록 지원합니다.