검색 쿼리 매개변수 평가 프레임워크
AI 검색 은 대체 검색 쿼리 매개변수 값 세트에 대한 결과 관련성을 비교하는 A/B 테스트 평가를 수행합니다. 이러한 평가는 기계 학습 관련성 및 Q&A Genius 결과에 사용하는 모델을 AI 검색 결정합니다.
- 검색 프로파일에 대해 게시할 관련성 모델을 결정합니다. 관련성 모델의 생성 및 게시에 대한 자세한 내용은 을 참조하십시오 의 머신 러닝 관련성 AI 검색.
- 잠재적인 Q&A Genius 결과 답변을 검증할 때 사용할 MRC(기계 독해력) 모델을 결정합니다. Q&A Genius 결과에 사용되는 MRC 모델에 대한 자세한 내용은 을 참조하십시오 Q&A Genius 결과.
AI 검색 야간에 A/B 테스트 평가 결과를 계산합니다.
검색 쿼리 매개변수 평가 프레임워크는 Adaptive Telemetry 기능 제품군의 일부입니다.
검색 쿼리 매개변수 평가 프레임워크 테이블
검색 쿼리 매개변수 평가 프레임워크는 AI 검색 테이블을 사용하여 실시간 검색 트래픽의 A/B 테스트의 결과와 메트릭을 저장합니다. AI 검색 는 검색 애플리케이션에 게시할 관련성 모델 및 Q&A Genius 결과 대답 확인 모델을 결정할 때 저장된 데이터를 사용합니다.
A/B 테스트 평가 테이블
| 열 | 설명 |
|---|---|
| 번호 | 평가를 식별하기 위해 자동 생성된 번호입니다. |
| 이름 | 평가에 대한 이름 및 설명입니다. |
| 소스 | 평가를 실행할 기록이 포함된 테이블의 이름입니다. |
| 테스트 범위 | 평가 범위입니다.
|
| 아티팩트 제공자 | 테스트용 기록을 제공하는 아티팩트 필터링 클래스의 목록입니다. |
| 선택한 아티팩트 | 쉼표로 구분된 기록 sys_id 값 목록입니다. 테스트 범위가 선택됨으로 설정되면 평가는 이 목록에 지정된 sys_id 값을 가진 레코드에 대해서만 실행됩니다. |
| 평가 최소 신호 | 평가가 종료되기 전에 수집해야 하는 최소 검색 신호 수입니다.
이 조건이 평가 최소 일수 조건과 상호 작용하는 방식에 대한 자세한 내용은 종료 기준 연산자를 참조하십시오. |
| 평가 최소 일수 | 평가가 종료되기 전에 활성화되어야 하는 최소 일 수입니다.
이 조건이 Minimum Signals for Evaluation 조건과 상호 작용하는 방식에 대한 자세한 내용은 End Criteria Operator 항목을 참조하십시오. |
| 종료 기준 연산자 | 평가를 위한 최소 신호 및 평가 조건의 최소 일수가 모두 존재할 때 평가 종료 조건에 사용할 논리 연산자입니다.
|
A/B 테스트 평가 실행 테이블
A/B 테스트 평가 실행 [evaluation_execution] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가의 일부로 실행된 개별 작업의 세부 정보가 저장됩니다.
| 열 | 설명 |
|---|---|
| 번호 | 평가 작업을 식별하기 위해 자동 생성된 번호입니다. |
| 평가 | A/B 테스트 평가 [evaluation] 테이블의 평가 기록에 대한 참조입니다. |
| 아티팩트 ID | 이 평가 작업에서 분석한 기록의 Sys_id입니다. |
| 상태 | 기록 평가 실행의 상태입니다.
|
| 시작 날짜 | 평가 작업이 시작된 날짜 및 시간입니다. |
| 종료 날짜 | 평가 작업이 종료된 날짜 및 시간입니다. |
A/B 테스트 평가 매개변수 테이블
A/B 테스트 평가 매개변수[evaluation_parameter] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려되는 개별 검색 쿼리 매개변수의 세부 정보가 저장됩니다.
| 열 | 설명 |
|---|---|
| 평가 | A/B 테스트 평가 [evaluation] 테이블의 평가 기록에 대한 참조입니다. |
| 이름 | 평가 매개변수의 이름 및 설명입니다. |
| 아티팩트의 할당된 매개변수 사용 |
|
| 매개변수 값 트래픽 백분율 | A/B 평가 중에 지정된 Parameter Values 것을 적용할 검색 쿼리의 비율입니다.
|
| 매개변수 값 | 예일 경우 Use Artifact's Assigned Parameter 현재 검색 쿼리 매개변수 값과 비교할 값의 JSON 목록입니다. |
| 매개변수 유형 | 검색 쿼리 매개변수의 유형입니다. 선택한 값에 따라 A/B 평가 도중과 후에 사용되는 방식이 Parameter Values 결정됩니다. 지원되는 값:
|
| 점수 계산 유형 | 검색 쿼리 매개변수 값 점수를 계산하고 최상의 값을 찾는 데 사용되는 계산 형식입니다. 지원되는 값:
|
| 신호 제공자 | 검색 쿼리 매개변수의 점수를 매기는 데 필요한 검색 신호 제공자입니다. Search Event Signal Provider 유일하게 지원되는 값입니다. |
A/B 테스트 평가 매개변수 결과 테이블
A/B 테스트 평가 매개변수 결과 [evaluation_parameter_result] 테이블은 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려되는 개별 검색 쿼리 매개변수에 대한 계산 결과를 저장합니다.
| 열 | 설명 |
|---|---|
| 평가 실행 | A/B 테스트 평가 실행 [evaluation_execution] 테이블의 평가 실행에 대한 레코드에 대한 참조입니다. |
| 매개변수 평가 | A/B 테스트 평가 매개변수[evaluation_parameter] 테이블의 검색 쿼리 매개변수에 대한 레코드 참조입니다. |
| 최고의 값 | 검색 쿼리 매개변수에 가장 적합한 값으로 Winning Score, 에 의해 결정됩니다. |
| 승리 점수 | 검색 쿼리 매개변수의 숫자 점수로, 를 Score Calculation Type사용하여 결정됩니다. |
| 점수 메타데이터 | 검색 쿼리 매개변수에 대한 점수 계산의 메타데이터입니다. |
검색 쿼리 매개변수 평가 프레임워크에서 검색 프로파일 제외
실시간 AI 검색 트래픽의 A/B 테스트 평가에서 검색 프로필을 제외합니다. 이 절차에서는 검색 프로필의 검색 결과 관련성 모델과 Q&A Genius 결과 답변 확인 모델을 게시할 때 A/B 테스트 평가 결과를 사용할 수 없습니다 AI 검색 .
시작하기 전에
필요한 역할: ais_admin
이 태스크 정보
검색 쿼리 매개변수 평가 프레임워크는 라이브 검색 트래픽을 사용하여 검색 구성 설정에 대한 A/B 테스트 평가를 수행합니다. 기본적으로 AI 검색 모든 검색 프로파일의 구성 설정을 평가합니다.
프로시저
결과
AI 검색 제외된 검색 프로필을 사용하는 트래픽에 대해 더 이상 A/B 테스트 평가를 실행하지 않습니다. 머신 러닝 관련성은 더 이상 검색 프로파일에 대한 관련성 모델을 업데이트하지 않습니다.