Q&A Genius 결과 캐싱 Now Assist

  • 릴리스 버전: Yokohama
  • 업데이트 날짜 2025년 02월 06일
  • 읽기8분

    • AI 검색 는 Q&A Genius 결과에 대한 Now Assist 검색 성능을 향상시키기 위해 두 개의 쿼리 시간 캐시를 제공합니다. 캐싱을 사용하면 AI 검색 응답 생성을 위해 지식 문서를 제출하지 않고도 이전에 생성된 Now Assist Q&A Genius 결과 답변을 반환할 수 Now LLM 서비스 있습니다.

    Now Assist Q&A Genius Results 캐싱 개요

    검색 쿼리가 Q&A Genius 결과 구성을 AI 검색 트리거 Now Assist 하는 경우 검색 쿼리와 검색의 최상위 지식 문서 검색 결과 sys_id 사용하여 캐시된 문서 요약을 찾습니다. 활성 캐시 AI 검색 에서 문서 요약을 찾을 수 없는 경우 응답 생성을 위해 검색 쿼리 및 문서 sys_id 제출합니다 Now LLM 서비스 .
    주:
    기본적으로 AI 검색 는 첫 번째 수준 캐시와 Now LLM 서비스 Q&A Genius 결과 답변을 찾을 Now Assist 때만 사용합니다. 두 번째 수준 캐시를 사용하도록 설정하거나 를 사용하지 Now LLM 서비스않도록 설정하기 위해 관리자는 이 항목에 설명된 대로 캐시의 작동 모드를 변경할 수 있습니다.

    쿼리 시간 캐시는 영어 검색, 지식 문서 및 답변만 지원합니다.

    캐시 수준

    캐시에는 Q&A Genius 결과의 Now Assist 검색 성능을 향상시키기 위해 서로 다른 방식으로 작동하는 두 가지 수준이 포함되어 있습니다.
    첫 번째 수준 캐시

    첫 번째 수준 캐시는 빠른 액세스를 위해 메모리에 저장된 키-값 쌍 목록으로 구성됩니다. 각 캐시 항목에는 검색 쿼리와 해당 쿼리에서 반환된 지식 문서의 sys_id 포함하는 키가 있습니다. 캐시 항목의 값에는 지정된 검색 쿼리 및 지식 문서에 대해 생성된 Now LLM 서비스 요약이 포함됩니다.

    첫 번째 수준 캐시를 AI 검색 확인할 때 검색 쿼리와 지식 문서 검색 결과의 sys_id 캐시 항목 키와 비교합니다. 일치하는 키를 찾으면 해당 캐시 항목 값에서 문서 요약을 반환합니다. 그렇지 않으면 두 번째 수준 캐시를 확인합니다.
    주:
    첫 번째 수준 캐시는 검색 쿼리가 캐시된 검색 쿼리와 정확히 일치하는 어휘인 경우에만 결과를 생성합니다. 예를 들어 사기 방지 를 위해 검색하는 경우 두 검색어에 동일한 용어가 포함되어 있지 않기 때문에 사기를 방지하는 방법에 대한 검색 쿼리가 포함된 캐시된 항목에 대한 결과가 표시되지 않습니다.
    두 번째 수준 캐시

    두 번째 수준 캐시는 인덱싱된 소스로 구성된 테이블로 AI 검색 구성됩니다. 이 테이블의 각 기록은 캐시 항목이며 검색 쿼리, 관련 지식 문서 검색 결과에 대한 sys_id, 해당 쿼리 및 지식 문서에 대해 생성된 요약, 고정됨, sys_updated_on 및 run_as 등의 기타 필드를 포함합니다. AI 검색 의 기록이 생성, 업데이트 또는 삭제될 때마다 이 테이블의 인덱스를 업데이트합니다. 이 인덱스 업데이트 작업은 최대 1분이 걸릴 수 있습니다.

    두 번째 수준 캐시를 AI 검색 확인할 때 인덱싱된 테이블을 쿼리하여 검색 쿼리 및 지식 문서 검색 결과의 sys_id와 일치하는 항목을 찾습니다. 일치하는 항목을 찾으면 인덱싱된 테이블에 저장된 문서 요약을 반환합니다. 그렇지 않으면 검색 쿼리와 지식 문서 검색 결과가 Now LLM 서비스.
    주:
    첫 번째 수준 캐시와 달리 두 번째 수준 캐시는 의미 체계 벡터 검색을 사용하여 검색 쿼리 의미를 비교하므로 검색 쿼리가 캐시된 검색 쿼리와 정확히 일치하는 어휘가 아니더라도 캐시 결과를 얻을 수 있습니다. 예를 들어 사기 방지 를 위해 검색하는 경우 두 검색어의 의미가 유사하기 때문에 사기를 방지하는 방법에 대한 검색 쿼리가 포함된 캐시된 항목에 대한 결과를 얻을 수 있습니다. 시맨틱 벡터 검색에 대한 자세한 내용은 문서를 참조하십시오 에서 시맨틱 벡터 검색 AI 검색.

    캐싱의 이점

    Q&A Genius 결과 캐싱은 Now Assist 다음과 같은 이점을 제공합니다.
    • 일반적인 Now Assist Q&A Genius 결과 답변의 평균 응답시간 단축
    • Q&A 답변 추출을 위해 Now Assist 전송되는 검색 쿼리 결과 수를 줄여 권리 소비를 줄입니다Now Assist.Now LLM 서비스
    • Q&A Genius 결과 답변을 반환할 Now Assist 가능성 증가
    • 유사한 검색에 대해 동일한 Now Assist Q&A Genius 결과 답변을 반환하여 검색 일관성을 향상시킵니다.

    캐시된 쿼리에 대한 콘텐츠 보안

    검색이 지식 문서와 일치하고 캐시를 검사하기 전에 검색에 콘텐츠 보안 제한을 적용하기 때문에 AI 검색 두 캐시 모두 사용자가 접근할 수 없는 지식 문서에 대한 방문 횟수를 반환하지 않습니다. 의 컨텐츠 보안 모델에 대한 AI 검색자세한 내용은 을 참조하십시오 의 컨텐츠 보안 AI 검색.

    캐시 모드

    Q&A Genius 결과 응답 캐시는 Now Assist 다음과 같은 작동 모드를 지원합니다.

    • off: 첫 번째 수준 캐시와 를 Now LLM 서비스 사용하여 Q&A Genius 결과 답변을 찾습니다 Now Assist .

      AI 검색 는 검색 쿼리 및 지식 문서 결과와 정확히 일치하는 Q&A Genius 결과 답변을 첫 Now Assist 번째 수준 캐시에서 찾습니다. 일치하는 답변을 찾지 못하면 응답 생성을 위해 쿼리 및 지식 문서 sys_id Now LLM 서비스 보냅니다.

      Now Assist 첫 번째 수준 캐시를 채워서 Now LLM 서비스 생성된 Q&A Genius Result 답변입니다.

      를 사용하는 동적 변환경우 AI 검색 는 캐시와 쿼리를 Now LLM 서비스 무시하고 Q&A Genius 결과에 대한 Now Assist 답변을 생성합니다.

    • offline: 첫 번째 수준과 두 번째 수준 캐시를 사용하여 Q&A Genius 결과 대답을 찾습니다 Now Assist . 에 Now LLM 서비스쿼리를 제출하지 마십시오.

      AI 검색 는 검색 쿼리 및 지식 문서 결과와 정확히 일치하는 Q&A Genius 결과 답변을 첫 Now Assist 번째 수준 캐시에서 찾습니다. 일치하는 답변을 찾지 못하면 의미 체계 벡터 검색을 사용하여 두 번째 수준 캐시에서 쿼리의 의미와 일치하는 답변을 찾습니다. 쿼리 및 지식 문서 결과 AI 검색 와 일치하는 캐시된 답변이 없으면 Q&A Genius 결과에 대한 답변을 반환하지 Now Assist 않습니다.

      Now Assist 두 번째 수준 캐시에 있는 Q&A Genius Result 답변이 첫 번째 수준 캐시를 채웁니다.

      를 사용하는 동적 변환경우 AI 검색 는 캐시를 무시하고 Q&A Genius 결과에 대한 Now Assist 답변을 반환하지 않습니다.

    • online: 첫 번째 및 두 번째 수준 캐시와 를 Now LLM 서비스 사용하여 Q&A Genius 결과 답변을 찾습니다 Now Assist .

      AI 검색 는 검색 쿼리 및 지식 문서 결과와 정확히 일치하는 Q&A Genius 결과 답변을 첫 Now Assist 번째 수준 캐시에서 찾습니다. 일치하는 답변을 찾지 못하면 의미 체계 벡터 검색을 사용하여 두 번째 수준 캐시에서 쿼리의 의미와 일치하는 답변을 찾습니다. 쿼리 및 지식 문서 결과와 일치하는 캐시된 답변이 없는 경우, AI 검색 응답 생성을 위해 쿼리 및 문서 sys_id 에 제출합니다 Now LLM 서비스 .

      Now Assist 첫 번째 수준과 두 번째 수준 캐시를 채워서 Now LLM 서비스 생성된 Q&A Genius Result 답변입니다.

      를 사용할 동적 변환때 AI 검색 는 캐시와 쿼리를 Now LLM 서비스 무시하고 Q&A Genius 결과에 대한 Now Assist 답변을 생성합니다.

    기본 작동 모드는 입니다 off.

    관리자는 시스템 속성의 off값을 , offline또는 online로 설정하여 Q&A Genius 결과 대답 캐시의 작동 모드를 Now Assist 변경할 수 있습니다sn_ais_assist.semantic_cache_mode. 시스템 속성 설정에 대한 자세한 내용은 문서를 참조하십시오 시스템 속성 추가.

    Genius 결과와 함께 Now Assist 사용하는 동적 변환 방법에 대한 자세한 내용은 을 참조하십시오동적 변환 Q Now Assist &A Genius 결과.

    캐시 관리를 위한 예약된 작업

    Update Semantic Cache 예약된 작업은 매일 실행되어 다음 작업을 수행합니다.
    • 검색 이벤트 [sys_search_event] 검색 신호 테이블에 있는 가장 자주 제출된 쿼리에 대한 결과로 두 번째 수준 캐시를 채웁니다. 이 테이블에 대한 자세한 내용은 다음 문서를 참조하십시오 검색 신호 테이블.
    • 지난 7일 동안 사용되지 않은 고정되지 않은 두 번째 수준 캐시 항목을 모두 제거합니다. 검색 관리자는 두 번째 수준 캐시 테이블에 결과를 고정하여 결과가 제거되지 않도록 할 수 있습니다. 이 절차에 대한 자세한 내용은 다음 문서를 참조하십시오 Q&A Genius 결과에 대해 Now Assist 캐시된 대답 고정.

    Q&A Genius 결과에 대해 Now Assist 캐시된 대답 고정

    자주 사용하는 답변을 두 번째 수준 캐시에 고정하여 Q&A Genius 결과의 Now Assist 성능을 향상시킵니다. 답변을 고정하면 캐시의 제거 메커니즘에서 제외됩니다.

    시작하기 전에

    Now Assist in AI 검색 ServiceNow® Store 애플리케이션이 인스턴스에 설치되어 있어야 합니다. 이 애플리케이션 설치에 대한 자세한 내용은 을 참조하십시오 Now Assist 설치 위치 AI 검색.

    필요한 역할: ais_admin

    이 태스크 정보

    검색 관리자는 Q&A Genius 결과 답변에 대한 Now Assist 두 번째 수준 캐시에 항목을 고정할 수 있습니다. Update Semantic Cache 예약된 작업은 두 번째 수준 캐시를 제거할 때 고정된 항목을 무시합니다.

    자주 사용하는 항목을 고정하면 응답 생성을 위해 지식 문서를 Now LLM 서비스 제출하지 않고도 이전에 생성된 Now Assist Q&A Genius 결과 답변을 반환할 수 있으므로 AI 검색 검색 성능을 개선하는 데 도움이 됩니다.

    두 번째 수준 Now Assist Q&A Genius 결과 대답 캐시 및 사용법에 대한 자세한 내용은 을 참조하십시오 Q&A Genius 결과 캐싱 Now Assist.

    프로시저

    1. 시맨틱 캐시[AI 검색sn_ais_assist_semantic_cache] 테이블의 목록 뷰로 Now Assist 이동합니다.
      1. 모두를 선택합니다.
      2. 필터 필드에 sn_ais_assist_semantic_cache.list를 입력합니다.
      3. Enter를 누릅니다.
      이 테이블의 각 레코드는 두 번째 수준의 캐시 항목을 나타냅니다. 테이블은 이전에 에서 생성된 Now LLM 서비스Q&A Genius 결과 답변으로 Now Assist 채워집니다.
    2. 고정하려는 각 캐시 항목 기록에 대해 다음 단계를 수행합니다.
      1. 목록 뷰에서 캐시 항목 기록을 선택하여 엽니다.
      2. 기록의 고정된 필드 값을 true로 설정합니다.
      3. 업데이트를 선택합니다.

    결과

    Update Semantic Cache 예약된 작업은 두 번째 수준 캐시를 제거할 때 고정된 항목을 무시합니다.