Now Assist Q&A Genius 結果のキャッシュ
AI 検索 は、Now Assist Q&A Genius 結果の検索パフォーマンスを向上させるために、2 つのクエリ時間キャッシュを提供します。キャッシュを使用すると、AI 検索ナレッジ記事を回答生成のためにNow LLM サービスに送信することなく、以前に生成された Now Assist Q&A Genius 結果回答を返すことができます。
Now Assist Q&A Genius 結果のキャッシュの概要
クエリ時キャッシュは、英語の検索、ナレッジ記事、および回答のみをサポートしています。
キャッシュレベル
- 第 1 レベルのキャッシュ
-
第 1 レベルのキャッシュは、高速にアクセスするためにメモリに格納されているキー値ペアのリストで構成されます。各キャッシュエントリには、検索クエリと、そのクエリによって返されるナレッジ記事のsys_idを含むキーがあります。キャッシュエントリの値には、指定された検索クエリとナレッジ記事に対して Now LLM サービス によって生成されたサマリーが含まれます。
第 1 レベルのキャッシュを確認するときに、 AI 検索 検索クエリとナレッジ記事検索結果のsys_idをキャッシュエントリキーと比較します。一致するキーが見つかった場合は、対応するキャッシュエントリ値から記事のサマリーを返します。それ以外の場合は、第 2 レベルのキャッシュをチェックします。注:第 1 レベルのキャッシュでは、検索クエリがキャッシュされた検索クエリとキーワードの完全一致である場合にのみ結果が生成されます。たとえば、avoiding scams を検索する場合、検索クエリ how to prevent scams に対するキャッシュされたエントリの結果は得られません。2 つの検索クエリに同じ用語が含まれていないためです。 - 第 2 レベルのキャッシュ
-
第 2 レベルのキャッシュは、AI 検索 のインデックス付きソースとして設定されたテーブルで構成されます。このテーブルの各レコードはキャッシュエントリであり、検索クエリ、関連するナレッジ記事検索結果のsys_id、そのクエリとナレッジ記事に対して生成されたサマリー、その他のフィールド (固定、sys_updated_on、run_asなど) が含まれます。 AI 検索 は、レコードが作成、更新、または削除されるたびに、このテーブルのインデックスを更新します。このインデックスの更新操作には最大 1 分かかる場合があります。
第 2 レベルのキャッシュをチェックするときに、 AI 検索 はインデックス付きテーブルに対してクエリを実行し、検索クエリとナレッジ記事検索結果のsys_idに一致するエントリを探します。一致するエントリが見つかった場合は、インデックス付きテーブルに格納されている記事のサマリーを返します。それ以外の場合は、検索クエリとナレッジ記事検索結果を Now LLM サービスに送信します。注:第 1 レベルのキャッシュとは異なり、第 2 レベルのキャッシュはセマンティックベクトル検索を使用して検索クエリの意味を比較するため、検索クエリがキャッシュされた検索クエリとキーワードの完全一致でなくても、キャッシュ結果が得られる可能性があります。たとえば、avoiding scams を検索する場合、検索クエリ how to prevent scams に対するキャッシュされたエントリの結果が得られる可能性があります。2 つの検索クエリの意味が似ているためです。セマンティックベクトル検索の詳細については、「AI 検索 でのセマンティックベクトル検索」を参照してください。
キャッシュのメリット
- 一般的な Now Assist Q&A Genius 結果回答の平均応答時間が短縮される
- Now Assist Q&A 回答抽出のために Now LLM サービス に送信される検索クエリ結果の数を減らすことで、Now Assistエンタイトルメント消費が低減される
- Now Assist Q&A Genius 結果回答が返される確率が高くなる
- 類似の検索に対して同じ Now Assist Q&A Genius 結果回答を返すことで、検索の一貫性が向上する
キャッシュされたクエリのコンテンツセキュリティ
AI 検索ナレッジ記事を照合してキャッシュをチェックする前に、検索にコンテンツセキュリティ制限を適用するため、どちらのキャッシュもアクセスできないナレッジ記事のヒットを返しません。AI 検索 のコンテンツのセキュリティモデルの詳細については、「AI 検索のコンテンツセキュリティ」を参照してください。
キャッシュモード
-
off:第 1 レベルのキャッシュと Now LLM サービス を使用して、Now Assist Q&A Genius 結果の回答を検索します。
AI 検索 は、第 1 レベルのキャッシュ Now Assist 検索クエリとナレッジ記事の結果と完全に一致する Q&A Genius 結果回答を探します。一致する回答が見つからない場合は、クエリとナレッジ記事の sys_id を回答生成のために Now LLM サービス に送信します。
Now LLM サービス によって生成された Now Assist Q&A Genius 結果回答は、第 1 レベルのキャッシュに入力されます。
動的翻訳 を使用すると、AI 検索はキャッシュをバイパスして Now LLM サービス にクエリし、Now Assist Q&A Genius 結果の回答を生成します。
-
offline:Now Assist Q&A Genius 結果回答を見つけるときに、第 1 レベルのキャッシュと第 2 レベルのキャッシュを使用します。Now LLM サービス にクエリを送信しないでください。
AI 検索 は、第 1 レベルのキャッシュ Now Assist 検索クエリとナレッジ記事の結果と完全に一致する Q&A Genius 結果回答を探します。一致する回答が見つからない場合は、セマンティックベクトル検索を使用して、第 2 レベルのキャッシュでクエリの意味に一致する回答を探します。クエリとナレッジ記事の結果と一致する回答がキャッシュされていない場合、 AI 検索 は Now Assist Q&A Genius 結果に対する回答を返しません。
第 2 レベルのキャッシュで見つかった Now Assist Q&A Genius 結果回答は、第 1 レベルのキャッシュに入力されます。
動的翻訳を使用する場合、 AI 検索 はキャッシュをバイパスし、Now Assist Q&A Genius 結果の回答を返しません。
-
online:Now LLM サービス で Now Assist Q&A Genius 結果回答を見つけるときに、第 1 レベルのキャッシュと第 2 レベルのキャッシュを使用します。
AI 検索 は、第 1 レベルのキャッシュ Now Assist 検索クエリとナレッジ記事の結果と完全に一致する Q&A Genius 結果回答を探します。一致する回答が見つからない場合は、セマンティックベクトル検索を使用して、第 2 レベルのキャッシュでクエリの意味に一致する回答を探します。キャッシュされた回答がクエリとナレッジ記事の結果と一致しない場合、 AI 検索 はクエリと記事sys_idを回答生成のために Now LLM サービス に送信します。
Now LLM サービス によって生成された Now Assist Q&A Genius 結果回答は、第 1 レベルのキャッシュと第 2 レベルのキャッシュに入力されます。
動的翻訳 を使用すると、AI 検索はキャッシュをバイパスして Now LLM サービス にクエリし、Now Assist Q&A Genius 結果の回答を生成します。
デフォルトの操作モードは off です。
アドミニストレーターは、sn_ais_assist.semantic_cache_mode システムプロパティの値を off、offline、または online に設定することで、Now Assist Q&A Genius 結果回答のキャッシュの操作モードを変更できます。システムプロパティ設定の詳細については、「システムプロパティを追加する」を参照してください。
Now Assist Genius 結果で 動的翻訳 を使用する方法の詳細については、「Now Assist Q&A Genius 結果の 動的翻訳」を参照してください。
キャッシュ管理のスケジュール済みジョブ
- 検索イベント [sys_search_event] 検索シグナルテーブルで見つかった最も頻繁に送信されたクエリの結果を第 2 レベルのキャッシュに入力します。このテーブルの詳細については、「検索シグナルテーブル」を参照してください。
- 過去 7 日間使用されていない、固定されていないすべての第 2 レベルのキャッシュエントリをパージします。検索アドミニストレーターは、結果を第 2 レベルのキャッシュテーブルに固定して、パージされないようにすることができます。この手順の詳細については、「Now Assist Q&A Genius 結果のキャッシュされた回答を固定する」を参照してください。
Now Assist Q&A Genius 結果のキャッシュされた回答を固定する
頻繁に使用される回答を第 2 レベルのキャッシュに固定することで、Now Assist Q&A Genius 結果のパフォーマンスが向上します。回答を固定することで、キャッシュのパージメカニズムから除外されます。
始める前に
Now Assist in AI 検索 ServiceNow® Store アプリケーションがインスタンスにインストールされている必要があります。このアプリケーションのインストールの詳細については、「AI 検索 への Now Assistのインストール」を参照してください。
必要なロール:ais_admin
このタスクについて
検索アドミニストレーターは、Now Assist Q&A Genius 結果回答のため、第 2 レベルのキャッシュにエントリを固定できます。Update Semantic Cacheのスケジュール済みジョブは、第 2 レベルのキャッシュをパージするときに、固定されたエントリを無視します。
頻繁に使用するエントリを固定すると、回答生成のためにナレッジ記事をNow LLM サービスに送信することなく、以前に生成されたNow Assist Q&A Genius 結果回答をAI 検索が返すことができるため、検索パフォーマンスが向上します。
第 2 レベルの Now Assist Q&A Genius 結果回答キャッシュとその使用方法の詳細については、「Now Assist Q&A Genius 結果のキャッシュ」を参照してください。
手順
タスクの結果
Update Semantic Cacheのスケジュール済みジョブは、第 2 レベルのキャッシュをパージするときに、固定されたエントリを無視します。