Suporte de internacionalização para Pesquisa com IA

  • Versão de lançamento: Xanadu
  • Atualizado 1 de ago. de 2024
  • 6 min. de leitura

    • Pesquisa com IA oferece suporte à indexação e pesquisa em todos os idiomas oferecidos pelo Now Platform. Os recursos linguísticos de pesquisa são compatíveis com português brasileiro, holandês, inglês, francês, francês canadense, alemão, italiano, japonês, coreano, português, chinês simplificado, espanhol, sueco e chinês tradicional.

    O suporte à internacionalização é habilitado automaticamente e não é configurável.

    Para exibir a lista completa de idiomas oferecidos como plug-ins Now Platform e compatíveis com Pesquisa com IA, consulte Ativação de um idioma.
    Nota:
    Depois de ativar um novo plug-in de idioma, você deve reindexar todo o conteúdo de origem indexado que deseja tornar pesquisável no novo idioma. Para obter detalhes sobre reindexação, consulte Executar um índice de tabela completo ou reindexar para uma única origem indexada.
    As configurações de idioma determinam como Pesquisa com IA separa o texto de conteúdo indexado e consultas de pesquisa em termos individuais. Esse processo, chamado de tokenização, é tratado de forma diferente para cada idioma compatível, usando configurações específicas de idioma. Por exemplo, a maioria dos idiomas usa espaços e pontuação para separar palavras e frases, mas ao tokenizar texto em chinês ou japonês, Pesquisa com IA usa a interpretação contextual para identificar corretamente as quebras de palavras e frases. Ao tokenizar texto em japonês, Pesquisa com IA também reconhece o nakaguro (ponto do meio) como um separador de palavras.
    Nota:
    Se você indexou conteúdo em português brasileiro, holandês, italiano, japonês, coreano, português ou sueco antes de agosto de 2024, deverá reindexá-lo para se beneficiar das novas melhorias de tokenização para esses idiomas.

    Comportamento de indexação em idiomas compatíveis

    Ao indexar conteúdo e metadados de um registro de origem Now Platform ou de um documento externo, Pesquisa com IA usa configurações de tokenização para o idioma do registro ou documento, conforme mostrado na tabela a seguir.

    Registro ou documento Configurações de tokenização
    Registro de origem da tabela Tarefa [task] ou de uma de suas tabelas secundárias Pesquisa com IA executa a identificação de idioma e usa configurações de tokenização para o idioma detectado para indexar o conteúdo e os metadados do registro.
    Nota:
    A identificação de idioma identifica somente português brasileiro, holandês, inglês, francês, francês canadense, alemão, italiano, japonês, coreano, português, chinês simplificado, espanhol, sueco e chinês tradicional. O conteúdo em outros idiomas é identificado e tratado como inglês.
    Registro de origem de uma tabela sem tarefa

    Pesquisa com IA usa configurações de tokenização para o idioma do registro para indexar seu conteúdo e metadados.

    Se o registro não tiver nenhum idioma especificado, o Now Platform o tratará como sendo o idioma padrão da instância. Em uma instância em inglês, por exemplo, Pesquisa com IA indexa registros sem idiomas especificados usando configurações de tokenização para inglês.
    Documento externo Pesquisa com IA executa a identificação de idioma e usa configurações de tokenização para o idioma detectado para indexar o conteúdo e os metadados do documento.
    Nota:
    A identificação de idioma identifica somente português brasileiro, holandês, inglês, francês, francês canadense, alemão, italiano, japonês, coreano, português, chinês simplificado, espanhol, sueco e chinês tradicional. O conteúdo em outros idiomas é identificado e tratado como inglês.
    Nota:
    Ao indexar conteúdo e metadados, Pesquisa com IA reconhece regiões de texto Japonês, chinês simplificado e chinês tradicional incorporadas ao texto em outros idiomas. Essas regiões de texto são indexadas com as configurações de tokenização de idioma apropriadas, independentemente do idioma do texto ao redor. Por exemplo, suponha que você indexe um artigo de conhecimento no idioma inglês que inclui um parágrafo de chinês simplificado. Pesquisa com IA indexa o conteúdo deste parágrafo como chinês simplificado e o restante do conteúdo do registro como inglês.

    Comportamento de consulta de pesquisa em idiomas compatíveis

    Ao processar o texto da consulta de pesquisa, Pesquisa com IA usa configurações de tokenização para o idioma da sessão Now Platform do usuário atual.
    Nota:
    Pesquisa com IA reconhece Japonês, chinês simplificado e chinês tradicional termos em consultas de pesquisa. Esses termos são processados com as configurações de tokenização de idioma apropriadas, independentemente do idioma da sessão do usuário. Por exemplo, se um usuário em uma sessão de usuário em francês pesquisar por replacement ordeneur 笔记本电舿, Pesquisa com IA aplicará configurações de chinês simplificado para o termo 笔记本电舿 e configurações de francês para os outros termos de pesquisa.

    Pesquisa com IA compara os termos da consulta de pesquisa com termos de conteúdo indexado e metadados, retornando resultados de pesquisa para registros indexados ou documentos que contêm correspondências. Quando os termos de pesquisa estão no mesmo idioma dos termos indexados, Pesquisa com IA processa ambos os conjuntos de termos com as mesmas configurações de tokenização, produzindo correspondências previsíveis e resultados de pesquisa. Se os termos de pesquisa não estiverem no mesmo idioma dos termos indexados, Pesquisa com IA processará os dois conjuntos de termos com diferentes configurações de tokenização e a correspondência poderá ser imprevisível.

    Dependência de idioma para recursos de pesquisa

    Os recursos de pesquisa a seguir dependem do idioma e são compatíveis somente com os idiomas listados.

    Tabela 1. Dependência de idioma do recurso de pesquisa
    Recurso Dependência de idioma e idiomas compatíveis
    Resultados do Genius

    Pesquisa com IA avalia somente as configurações de resultado do Genius com gatilhos NLU se o modelo vinculado NLU tiver o mesmo idioma da consulta de pesquisa.

    Idiomas compatíveis: inglês.
    Identificação de idioma e tokenização

    Durante a indexação, Pesquisa com IA identifica os idiomas compatíveis em registros da tabela de tarefas e documentos externos. O processamento de texto para o conteúdo indexado usa configurações de tokenização para o idioma identificado.

    Idiomas compatíveis: português brasileiro, holandês, inglês, francês, francês canadense, alemão, italiano, japonês, coreano, português, chinês simplificado, espanhol, sueco e chinês tradicional.
    Normalização de Lema e Unicode

    Pesquisa com IA executa a normalização de lema específica do idioma para termos em conteúdo indexado e consultas de pesquisa.

    Idiomas compatíveis: português brasileiro, holandês, inglês, francês, francês canadense, alemão, italiano, japonês, coreano, português, chinês simplificado, espanhol, sueco e chinês tradicional.
    Nota:
    Para Alemão, coreano e sueco, Pesquisa com IA executa a decomposição de termos, além da normalização de lema.

    Pesquisa com IA executa a normalização Unicode para todos os termos em conteúdo indexado e consultas de pesquisa.

    Para obter mais informações sobre normalização de lemas e formulários Unicode em conteúdo indexado e consultas de pesquisa, consulte Normalização de Lema e Unicode.
    Regras de melhoria de resultados

    Pesquisa com IA avalia somente a ativação de regras de melhoria de resultado que tenham o mesmo idioma da consulta de pesquisa ou que tenham Todos os idiomas especificados.

    Idiomas compatíveis: todos os idiomas ativados em sua instância. Para obter a lista de idiomas que você pode ativar, consulte Ativação de um idioma.
    Palavras irrelevantes

    Pesquisa com IA considera somente palavras irrelevantes de dicionários que têm o mesmo idioma da consulta de pesquisa.

    Idiomas compatíveis: todos os idiomas ativados em sua instância. Para obter a lista de idiomas que você pode ativar, consulte Ativação de um idioma.
    Sinônimos

    Pesquisa com IA considera somente sinônimos de dicionários que têm o mesmo idioma da consulta de pesquisa.

    Idiomas compatíveis: todos os idiomas ativados em sua instância. Para obter a lista de idiomas que você pode ativar, consulte Ativação de um idioma.
    Tratamento de erros de digitação

    Pesquisa com IA deriva uma lista separada de termos de correção automática para cada idioma compatível encontrado no conteúdo indexado da origem de pesquisa. A correção automática substitui somente os termos da consulta de pesquisa por termos da lista que tem o mesmo idioma da consulta de pesquisa.

    Idiomas compatíveis: Português brasileiro, holandês, inglês, francês canadense, francês, alemão, italiano, português, espanhol e sueco. O manuseio de erros de digitação não é compatível com Japonês, coreano, chinês simplificado ou chinês tradicional.