검색 쿼리 매개변수 평가 프레임워크
AI 검색 는 대체 검색 쿼리 매개변수 값 집합에 대한 결과 관련성을 비교하는 A/B 테스트 평가를 수행합니다. 이러한 평가에 따라 AI 검색 머신 러닝 관련성 및 Q&A Genius 결과에 사용하는 모델이 결정됩니다.
- 검색 프로파일에 대해 게시할 관련성 모델을 결정합니다. 관련성 모델의 생성 및 게시에 대한 자세한 내용은 을 참조하십시오 의 머신 러닝 관련성 AI 검색.
- 잠재적인 Q&A Genius 결과 답변을 확인할 때 사용할 MRC(기계 독해) 모델을 결정합니다. Q&A Genius 결과에 사용되는 MRC 모델에 대한 자세한 내용은 을 참조하십시오 Q&A Genius 결과.
AI 검색 야간에 A/B 테스트 평가 결과를 계산합니다.
검색 쿼리 매개변수 평가 프레임워크는 Adaptive Telemetry 기능 제품군의 일부입니다.
검색 쿼리 매개변수 평가 프레임워크 테이블
검색 AI 검색 쿼리 매개변수 평가 프레임워크는 테이블을 사용하여 라이브 검색 트래픽에 대한 A/B 테스트의 결과와 메트릭을 저장합니다. AI 검색 는 검색 애플리케이션에 게시할 관련성 모델과 Q&A Genius 결과 답변 확인 모델을 결정할 때 저장된 데이터를 사용합니다.
A/B 테스트 평가 테이블
| 열 | 설명 |
|---|---|
| 번호 | 평가를 식별하기 위해 자동 생성된 번호입니다. |
| 이름 | 평가의 이름 및 설명입니다. |
| 소스 | 평가를 실행할 기록이 포함된 테이블의 이름입니다. |
| 테스트 범위 | 평가 범위입니다.
|
| 아티팩트 제공자 | 테스트용 기록을 제공하는 아티팩트 필터링 클래스 목록입니다. |
| 선택한 아티팩트 | 쉼표로 구분된 기록 sys_id 값 목록입니다. 테스트 범위가선택됨으로 설정되면 이 목록에 지정된 sys_id 값이 있는 기록에 대해서만 평가가 실행됩니다. |
| 평가 최소 신호 | 평가가 종료되기 전에 수집해야 하는 최소 검색 신호 수입니다.
이 조건이 최소 평가 일수 조건과 상호 작용하는 방법에 대한 자세한 내용은 종료 기준 연산자를 참조하십시오. |
| 평가 최소 일수 | 종료되기 전에 평가가 활성 상태여야 하는 최소 일수입니다.
이 조건이 Minimum Signals for Evaluation 조건과 상호 작용하는 방식에 대한 자세한 내용은 End Criteria Operator를 참조하십시오. |
| 종료 기준 연산자 | 평가 최소 신호 조건과 평가 최소 일수 조건이 모두 있는 경우 평가 종료 조건에 사용할 논리 연산자입니다.
|
A/B 테스트 평가 실행 테이블
A/B 테스트 평가 실행 [evaluation_execution] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가의 일부로 실행된 개별 작업의 세부 정보가 저장됩니다.
| 열 | 설명 |
|---|---|
| 번호 | 평가 작업을 식별하기 위해 자동 생성된 번호입니다. |
| 평가 | A/B 테스트 평가 [evaluation] 테이블의 평가에 대한 기록 참조입니다. |
| 아티팩트 ID | 이 평가 작업에서 분석한 기록의 Sys_id. |
| 상태 | 기록 평가 실행의 상태입니다.
|
| 시작 날짜 | 평가 작업이 시작된 날짜 및 시간입니다. |
| 종료 날짜 | 평가 작업이 종료된 날짜 및 시간입니다. |
A/B 테스트 평가 매개변수 테이블
A/B 테스트 평가 매개변수 [evaluation_parameter] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려되는 개별 검색 쿼리 매개변수의 세부 정보가 저장됩니다.
| 열 | 설명 |
|---|---|
| 평가 | A/B 테스트 평가 [evaluation] 테이블의 평가에 대한 기록 참조입니다. |
| 이름 | 평가 매개변수의 이름 및 설명입니다. |
| 아티팩트의 할당된 매개변수 사용 |
|
| 매개변수 값 트래픽 백분율 | A/B 평가 중에 지정한 Parameter Values 항목을 적용할 검색 쿼리의 백분율입니다.
|
| 매개변수 값 | 가 예일 경우 Use Artifact's Assigned Parameter 현재 검색 쿼리 매개변수 값과 비교할 값의 JSON 목록입니다. |
| 매개변수 유형 | 검색 쿼리 매개변수에 대한 유형입니다. 선택한 값에 따라 A/B 평가 도중 및 후에 사용되는 Parameter Values 방식이 결정됩니다. 지원되는 값:
|
| 점수 계산 유형 | 검색 쿼리 매개변수 값 점수를 계산하고 최상의 값을 찾는 데 사용되는 계산 형식입니다. 지원되는 값:
|
| 신호 제공자 | 검색 쿼리 매개변수를 점수화하는 데 필요한 검색 신호 공급자입니다. Search Event Signal Provider 는 유일하게 지원되는 값입니다. |
A/B 테스트 평가 매개변수 결과 테이블
A/B 테스트 평가 매개 변수 결과 [evaluation_parameter_result] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려되는 개별 검색 쿼리 매개 변수에 대한 계산 결과가 저장됩니다.
| 열 | 설명 |
|---|---|
| 평가 실행 | A/B 테스트 평가 실행 [evaluation_execution] 테이블의 평가 실행에 대한 기록에 대한 참조입니다. |
| 매개변수 평가 | A/B 테스트 평가 매개변수 [evaluation_parameter] 테이블의 검색 쿼리 매개변수에 대한 기록에 대한 참조입니다. |
| 최고의 값 | 검색 쿼리 매개변수에 가장 적합한 값으로, 에 의해 Winning Score결정됩니다. |
| 승리 점수 | 검색 쿼리 매개변수에 대한 숫자 점수로, 를 Score Calculation Type사용하여 결정됩니다. |
| 점수 메타데이터 | 검색 쿼리 매개변수에 대한 점수 계산의 메타데이터입니다. |
검색 쿼리 매개변수에서 검색 프로파일 제외 평가 프레임워크
라이브 AI 검색 트래픽의 A/B 테스트 평가에서 검색 프로파일을 제외합니다. 이 절차에서는 AI 검색 검색 프로필의 검색 결과 관련성 모델과 Q&A Genius 결과 답변 유효성 검사 모델을 게시할 때 A/B 테스트 평가 결과를 사용할 수 없습니다.
시작하기 전에
필요한 역할: ais_admin
이 태스크 정보
검색 쿼리 매개변수 평가 프레임워크는 라이브 검색 트래픽을 사용하여 검색 구성 설정에 대한 A/B 테스트 평가를 수행합니다. 기본적으로 AI 검색 모든 검색 프로파일의 구성 설정을 평가합니다.
프로시저
결과
AI 검색 제외된 검색 프로파일을 사용하는 트래픽에 대해 더 이상 A/B 테스트 평가를 수행하지 않습니다. 머신 러닝 관련성은 더 이상 검색 프로파일의 관련성 모델을 업데이트하지 않습니다.