에 대한 국제화 지원 AI 검색

  • 릴리스 버전: Xanadu
  • 업데이트 날짜 2024년 08월 01일
  • 소요 시간: 5분

    • AI 검색 에서 제공하는 Now Platform모든 언어로 인덱싱 및 검색을 지원합니다. 검색 언어 기능은 에서 지원됩니다 ) 포르투갈어(브라질), 네덜란드어, 영어, 프랑스어, 프랑스어(캐나다), 독일어, 이탈리아어, 일본어, 포르투갈어, 중국어(간체), 스페인어, 스웨덴어, 중국어(번체).

    국제화 지원은 자동으로 활성화되며 구성할 수 없습니다.

    플러그인으로 Now Platform 제공되고 에서 AI 검색지원되는 언어의 전체 목록을 보려면 을 참조하십시오 언어 활성화.
    주:
    새 언어 플러그인을 활성화한 후에는 새 언어로 검색 가능하게 만들려는 모든 인덱싱된 소스 컨텐츠를 다시 색인화해야 합니다. 재색인화에 대한 자세한 내용은 을 참조하십시오 인덱싱된 단일 소스에 대해 전체 테이블 인덱스 또는 재인덱싱을 수행합니다..
    언어 설정은 인덱싱된 콘텐츠와 검색 쿼리의 텍스트를 개별 용어로 구분하는 방법을 AI 검색 결정합니다. 토큰화라고 하는 이 프로세스는 언어별 설정을 사용하여 지원되는 각 언어에 대해 다르게 처리됩니다. 예를 들어, 대부분의 언어는 단어와 문장을 구분하기 위해 공백과 문장 부호를 사용하지만 중국어 또는 일본어 텍스트를 AI 검색 토큰화할 때는 대신 문맥 해석을 사용하여 단어와 문장 분리를 올바르게 식별합니다. 일본어 텍스트를 AI 검색 토큰화할 때 나카구로(중간 점)를 단어 구분 기호로 추가로 인식합니다.
    주:
    2024년 8월 이전에 콘텐츠를 포르투갈어(브라질), 네덜란드어, 이탈리아어, 일본어, 한국어, 포르투갈어, 스웨덴어 인덱싱한 경우 이러한 언어에 대한 새로운 토큰화 개선 사항의 이점을 누릴 수 있도록 다시 인덱싱해야 합니다.

    지원되는 언어의 인덱싱 동작

    원본 레코드 또는 외부 문서에서 AI 검색 콘텐츠와 메타데이터를 Now Platform 인덱싱할 때 다음 표와 같이 레코드 또는 문서의 언어에 대한 토큰화 설정을 사용합니다.

    기록 또는 문서 토큰화 설정
    작업 [task] 테이블 또는 하위 테이블 중 하나의 소스 기록 AI 검색 언어 식별을 수행하고 탐지된 언어에 대한 토큰화 설정을 사용하여 기록의 콘텐츠와 메타데이터를 인덱싱합니다.
    주:
    언어 식별은 만 식별합니다 ) 포르투갈어(브라질), 네덜란드어, 영어, 프랑스어, 프랑스어(캐나다), 독일어, 이탈리아어, 일본어, 포르투갈어, 중국어(간체), 스페인어, 스웨덴어, 중국어(번체). 다른 언어로 된 콘텐츠는 영어로 식별되고 처리됩니다.
    비작업 테이블의 소스 기록

    AI 검색 는 기록 언어에 대한 토큰화 설정을 사용하여 콘텐츠와 메타데이터를 인덱싱합니다.

    기록에 언어가 지정 Now Platform 되어 있지 않으면 인스턴스의 기본 언어로 처리됩니다. 예를 AI 검색 들어 영어 인스턴스에서는 영어에 대한 토큰화 설정을 사용하여 지정된 언어가 없는 레코드를 인덱싱합니다.
    외부 문서 AI 검색 언어 식별을 수행하고 탐지된 언어에 대한 토큰화 설정을 사용하여 문서의 내용과 메타데이터를 인덱싱합니다.
    주:
    언어 식별은 만 식별합니다 ) 포르투갈어(브라질), 네덜란드어, 영어, 프랑스어, 프랑스어(캐나다), 독일어, 이탈리아어, 일본어, 포르투갈어, 중국어(간체), 스페인어, 스웨덴어, 중국어(번체). 다른 언어로 된 콘텐츠는 영어로 식별되고 처리됩니다.
    주:
    콘텐츠와 메타데이터 AI 검색 를 인덱싱할 때 는 다른 언어로 된 텍스트에 포함된 텍스트 영역을 일본어, 중국어 간체 및 중국어 번체 인식합니다. 이러한 텍스트 영역은 주변 텍스트의 언어에 관계없이 적절한 언어 토큰화 설정으로 인덱싱됩니다. 예를 들어, 중국어 간체 단락이 포함된 영어 지식 문서를 인덱싱한다고 가정해 보겠습니다. AI 검색 이 단락의 내용을 중국어 간체로, 기록의 나머지 내용을 영어로 색인화합니다.

    지원되는 언어로 쿼리 동작 검색

    검색 쿼리 텍스트를 AI 검색 처리할 때 현재 사용자 Now Platform 세션의 언어에 대한 토큰화 설정을 사용합니다.
    주:
    AI 검색 검색 일본어, 중국어 간체 및 중국어 번체 쿼리에서 용어를 인식합니다. 이러한 용어는 사용자 세션의 언어에 관계없이 적절한 언어 토큰화 설정으로 처리됩니다. 예를 들어 프랑스어 사용자 세션의 사용자가 remplacement ordinateur 笔记本电脑를 검색하는 경우 笔记本电脑AI 검색 용어에 중국어 간체 설정을 적용하고 다른 검색어에 프랑스어 설정을 적용합니다.

    AI 검색 검색 쿼리 용어를 인덱싱된 콘텐츠 및 메타데이터의 용어와 비교하여 인덱싱된 기록 또는 일치 항목이 포함된 문서에 대한 검색 결과를 반환합니다. 검색어가 인덱싱된 용어와 동일한 언어인 경우 에서는 AI 검색 토큰화 설정이 동일한 두 용어 집합을 모두 처리하여 예측 가능한 일치 항목 및 검색 결과를 생성합니다. 검색어가 인덱싱된 용어 AI 검색 와 동일한 언어가 아닌 경우 토큰화 설정이 서로 다른 두 용어 집합을 처리하며 일치를 예측할 수 없습니다.

    검색 기능에 대한 언어 의존성

    다음 검색 기능은 언어에 따라 다르며 나열된 언어에 대해서만 지원됩니다.

    표 1. 검색 기능 언어 의존성
    기능 언어 의존성 및 지원되는 언어
    Genius 결과

    AI 검색연결된 NLU 모델의 언어가 검색 쿼리와 동일한 경우에만 트리거를 사용하여 NLU Genius 결과 구성을 평가합니다.

    지원 언어: 영어.
    언어 식별 및 토큰화

    인덱싱하는 동안 작업 AI 검색 테이블 기록과 외부 문서에서 지원되는 언어를 식별합니다. 인덱싱된 콘텐츠에 대한 텍스트 처리는 식별된 언어에 대한 토큰화 설정을 사용합니다.

    지원되는 언어: ) 포르투갈어(브라질), 네덜란드어, 영어, 프랑스어, 프랑스어(캐나다), 독일어, 이탈리아어, 일본어, 포르투갈어, 중국어(간체), 스페인어, 스웨덴어, 중국어(번체).
    Lemma 및 유니코드 정규화

    AI 검색 인덱싱된 콘텐츠 및 검색 쿼리의 용어에 대해 언어별 기본형 정규화를 수행합니다.

    지원되는 언어: ) 포르투갈어(브라질), 네덜란드어, 영어, 프랑스어, 프랑스어(캐나다), 독일어, 이탈리아어, 일본어, 포르투갈어, 중국어(간체), 스페인어, 스웨덴어, 중국어(번체).
    주:
    의 경우 , 한국어, 스웨덴어기본 AI 검색 형 정규화와 함께 항 분해를 수행합니다.

    AI 검색 인덱싱된 내용 및 검색 쿼리의 모든 용어에 대해 유니코드 정규화를 수행합니다.

    인덱싱된 컨텐츠 및 검색 쿼리에서 표제어 및 유니코드 양식의 정규화에 대한 자세한 내용은 을 참조하십시오 Lemma 및 유니코드 정규화.
    결과 개선 규칙

    AI 검색 은 검색 쿼리와 언어가 같거나 모든 언어 가 지정된 결과 개선 규칙에 대해서만 활성화를 평가합니다.

    지원되는 언어: 인스턴스에서 활성화된 모든 언어입니다. 활성화할 수 있는 언어 목록은 을 참조하십시오 언어 활성화.
    스톱 워드

    AI 검색 검색 쿼리와 언어가 같은 사전의 스톱 워드만 고려합니다.

    지원되는 언어: 인스턴스에서 활성화된 모든 언어입니다. 활성화할 수 있는 언어 목록은 을 참조하십시오 언어 활성화.
    동의어

    AI 검색 는 검색 쿼리와 언어가 같은 사전의 동의어만 고려합니다.

    지원되는 언어: 인스턴스에서 활성화된 모든 언어입니다. 활성화할 수 있는 언어 목록은 을 참조하십시오 언어 활성화.
    오타 처리

    AI 검색 는 인덱싱된 콘텐츠 검색에서 지원되는 각 언어에 대한 별도의 자동 수정 용어 목록을 파생시킵니다. 자동 수정은 검색 쿼리 용어를 검색 쿼리와 언어가 같은 목록의 용어로만 바꿉니다.

    지원되는 언어: 포르투갈어(브라질), 네덜란드어, 영어, 프랑스어(캐나다), 프랑스어, 독일어, 이탈리아어, 포르투갈어, 스페인어 및 스웨덴어. 에 대해서는 일본어, 한국어, 중국어 간체 또는 중국어 번체오타 처리가 지원되지 않습니다.