検索クエリパラメーター評価フレームワーク
AI 検索は、検索クエリパラメーター値の代替セットの結果の関連性を比較する A/B テスト評価を実行します。これらの評価により、機械学習の関連性と Q&A Genius 結果に AI 検索が使用するモデルが決まります。
検索クエリパラメーター評価フレームワークを使用すると、ライブ検索トラフィックで A/B 関連性テストを実行できます。AI 検索 は、次の決定を行う際に、このライブテストの結果と、集計された検索シグナルデータのオフライン評価を考慮します。
- 検索プロファイル用に公開する関連性モデルの決定。関連性モデルの生成と公開の詳細については、「AI 検索 における機械学習の関連性」を参照してください。
- 潜在的な Q&A Genius 結果回答を検証するときに使用する機械読解 (MRC) モデルの決定。Q&A Genius 結果に使用される MRC モデルの詳細については、「Q&A Genius 結果」を参照してください。
AI 検索 は、夜間に A/B テストの評価結果を計算します。
注:
検索クエリパラメーター評価フレームワークは、ユーザー構成の A/B テストをサポートしていません。すべての A/B テストは、機械学習関連性モデルの評価の一環として AI 検索 によって自動的に実行されます。
検索クエリパラメーター評価フレームワークは、適応テレメトリ機能スイートの一部です。
検索クエリパラメーター評価フレームワークテーブル
AI 検索の検索クエリパラメーター評価フレームワークは、テーブルを使用して、ライブ検索トラフィックの A/B テストの結果とメトリクスを保存します。AI 検索は、検索アプリケーションに公開する関連性モデルと Q&A Genius 結果検証モデルを決定するときに、保存されているデータを使用します。
A/B テスト評価テーブル
A/B テスト評価 [evaluation] テーブルには、ライブ検索トラフィックで実行された A/B テスト評価の詳細が保存されます。
注:
このテーブルは自動的にクリーンアップされ、2 年以上経過した非アクティブな評価のレコードが削除されます。
| 列 | 説明 |
|---|---|
| 番号 | 評価を識別するための自動生成番号 |
| 名前 | 評価の名前と説明 |
| ソース | 評価を実行するレコードを含むテーブルの名前 |
| テストスコープ | 評価の範囲
|
| アーティファクトプロバイダー | テスト用のレコードを提供するアーティファクトフィルタリングクラスのリスト |
| 選択されたアーティファクト | レコード sys_id 値のカンマ区切りリスト。[テストスコープ (Testing Scope)] が [SELECTED (選択済み)]に設定されている場合、評価はこのリストで指定された sys_id 値を持つレコードに対してのみ実行されます。 |
| 評価の最小シグナル数 | 評価が終了する前に収集する必要がある検索シグナルの最小数
この条件と [評価の最小日数] 条件との関係の詳細については、「終了基準演算子」を参照してください。 |
| 評価の最小日数 | 評価が終了するまでにアクティブでなければならない最小日数
この条件が [評価の最小シグナル数] 条件とどのように相互作用するかについての詳細は、「終了基準演算子」を参照してください。 |
| 終了基準演算子 | [評価の最小シグナル数] と [評価の最小日数] の両方の条件が存在する場合に評価の終了条件に使用する論理演算子。
|
A/B テスト評価実行テーブル
A/B テスト評価実行 [evaluation_execution] テーブルには、ライブ検索トラフィックの A/B テスト評価の一部として実行された個々の操作の詳細が保存されます。
| 列 | 説明 |
|---|---|
| 番号 | 評価操作を識別するための自動生成番号 |
| 評価 | A/B テスト評価 [evaluation] テーブルの評価レコードへの参照 |
| アーティファクト ID | この評価操作によって分析されたレコードの sys_id |
| 状況 | レコード評価実行の進捗状況
|
| 開始日 | 評価操作が開始した日時 |
| 終了日 | 評価操作が終了した日時 |
A/B テスト評価パラメーターテーブル
A/B テスト評価パラメーター [evaluation_parameter] テーブルには、ライブ検索トラフィックの A/B テスト評価で考慮される個々の検索クエリパラメーターの詳細が保存されます。
| 列 | 説明 |
|---|---|
| 評価 | A/B テスト評価 [evaluation] テーブルの評価レコードへの参照 |
| 名前 | 評価パラメーターの名前と説明 |
| アーティファクトにアサインされているパラメーターを使用 |
|
| パラメーター値トラフィックの割合 | A/B 評価中に指定された Parameter Values を適用する検索クエリの割合
|
| パラメーター値 | Use Artifact's Assigned Parameter が true の場合に現在の検索クエリパラメーター値と比較する値の JSON リスト |
| パラメータータイプ | 検索クエリパラメーターのタイプ選択した値によって、A/B 評価中および評価後の Parameter Values の使用方法が決まります。 サポートされている値は次のとおりです。
|
| スコア計算タイプ | 検索クエリパラメーター値のスコアを計算し、最適な値を見つけるために使用される計算の形式。 サポートされている値は次のとおりです。
|
| シグナルプロバイダー | 検索クエリパラメーターのスコアリングに必要な検索シグナルのプロバイダー。サポートされている値は Search Event Signal Provider のみです。 |
A/B テスト評価パラメーター結果テーブル
A/B テスト評価パラメーター結果 [evaluation_parameter_result] テーブルには、ライブ検索トラフィックの A/B テスト評価で考慮された個々の検索クエリパラメーターの計算結果が保存されます。
| 列 | 説明 |
|---|---|
| 評価の実行 | A/B テスト評価実行 [evaluation_execution] テーブルの評価実行のレコードへの参照 |
| Parameter Evaluation | A/B テスト評価パラメーター [evaluation_parameter] テーブルの検索クエリパラメーターのレコードへの参照 |
| ベストバリュー | Winning Score によって決定される検索クエリパラメーターの最適な値 |
| ウイニングスコア | Score Calculation Type を使用して決定される、検索クエリパラメーターの数値スコア |
| スコアメタデータ | 検索クエリパラメーターのスコア計算からのメタデータ |
検索クエリパラメーター評価フレームワークから検索プロファイルを除外する
ライブ AI 検索 トラフィックの A/B テスト評価から検索プロファイルを除外します。この手順では、検索プロファイルの検索結果の関連性モデルとその Q&A Genius 結果回答検証モデルを公開するときに、AI 検索が A/B テスト評価結果を使用できないようにします。
始める前に
必要なロール：ais_admin
このタスクについて
検索クエリパラメーター評価フレームワークは、ライブ検索トラフィックを使用して検索構成設定の A/B テスト評価を実行します。デフォルトでは、AI 検索はすべての検索プロファイルの構成設定を評価します。
検索アドミニストレーターは、検索クエリパラメーター評価フレームワークから個々の検索プロファイルを除外できます。フレームワークから検索プロファイルを除外すると、AI 検索は除外された検索プロファイルを使用するライブ検索トラフィックの A/B テスト評価を実行できなくなります。
注:
評価から検索プロファイルを除外すると、その検索プロファイルの機械学習の関連性と機械読解 (MRC) モデルを更新するときに、AI 検索で評価結果が考慮されなくなります。その結果、検索プロファイルの関連性スコアリング設定と Q&A Genius 結果回答フィルタリング設定に、検索トラフィックが反映されにくくなる可能性があります。これらのモデルを公開するときに AI 検索が A/B 評価テスト結果を使用する方法の詳細については、「AI 検索 における機械学習の関連性」および「Q&A Genius 結果」を参照してください。
手順
タスクの結果
AI 検索 は、除外された検索プロファイルを使用するトラフィックの A/B テスト評価を実行しなくなります。機械学習の関連性は、検索プロファイルの関連性モデルを更新しなくなります。