見出し語正規化

多くの言語には、複数形の用語や動詞のテンスなど、活用形の用語が含まれています。AI 検索 は、インデックス付きコンテンツおよび検索クエリで見つかった活用された用語を正規化します。正規化では、名詞複数形の単数形や活用動詞の基本形など、語根形式に基づいて照合を行うことができます。この語根形式は見出し語と呼ばれ、このプロセスは見出し語正規化と呼ばれます。

たとえば、ソースレコードに結合された動詞の selling が含まれている場合、AI 検索 はインデックス作成された用語を展開して、selling に加えて見出し語形式の sellを含めます。ユーザーが過去形活用形式 sold を検索するときは、AI 検索 は検索クエリ用語を展開して、sold に加えて見出し語形式 sell を含めます。インデックス作成された用語と検索クエリ用語に一致する形式が含まれているため、ユーザーの検索では結果として selling のレコードが返されます。

単語分解

ドイツ語、韓国語、ノルウェー語 (ブークモール)、スウェーデン語 の見出し語を正規化することに加えて、AI 検索 は複合単語とその個々の構成単語にインデックスを付けます。たとえば、複合単語 Humanressourcen を含むドイツ語レコードにインデックスを付ける場合、AI 検索 はこの複合単語に加えて構成単語である Human および ressourcen にインデックスを付けます。

Unicode 正規化

AI 検索 は Unicode 正規化をインデックス付き用語と検索クエリ用語で実行します。この正規化により、アルファベットの Unicode グリフは、最も近い同等の文字を使用して検索できます。

たとえば、resumé という用語を含むレコードのインデックスを作成する場合、AI 検索 はこの用語を展開して、アクセント記号のない形式 resume も含めます。このレコードは、ユーザーが resume または resumé のいずれかを検索すると、検索結果として表示されます。

Unicode 正規化には、NFKD (互換性分解) ステージと NFKC (互換性構成) ステージがあります。これらの正規化形式の詳細については、『Unicode 標準付属書 #15』(https://www.unicode.org/reports/tr15/) を参照してください。

他の検索機能とのインタラクション

次の表は、正規化と他の検索機能の間のインタラクションを示しています。