검색 쿼리 매개변수 평가 프레임워크
AI 검색 는 검색 쿼리 매개변수 값의 대체 집합에 대한 결과 관련성을 비교하는 A/B 테스트 평가를 수행합니다. 이러한 평가는 기계 학습 관련성 및 Q&A Genius 결과에 사용하는 모델을 AI 검색 결정합니다.
- 검색 프로파일에 게시할 관련성 모델 결정 관련성 모델의 생성 및 게시에 대한 자세한 내용은 을 참조하십시오 의 머신 러닝 관련성 AI 검색.
- 잠재적인 Q&A Genius 결과 대답의 유효성을 검사할 때 사용할 MRC(기계 독해) 모델을 결정합니다. Q&A Genius 결과에 사용되는 MRC 모델에 대한 자세한 내용은 을 참조하십시오 Q&A Genius 결과.
AI 검색 야간에 A/B 테스트 평가 결과를 계산합니다.
검색 쿼리 매개 변수 평가 프레임워크는 Adaptive Telemetry 기능 제품군의 일부입니다.
검색 쿼리 매개변수 평가 프레임워크 테이블
에 대한 AI 검색 검색 쿼리 매개변수 평가 프레임워크는 테이블을 사용하여 라이브 검색 트래픽의 A/B 테스트에서 얻은 결과와 메트릭을 저장합니다. AI 검색 는 검색 애플리케이션에 게시할 관련성 모델 및 Q&A Genius 결과 답변 확인 모델을 결정할 때 저장된 데이터를 사용합니다.
A/B 테스트 평가 테이블
| 열 | 설명 |
|---|---|
| 번호 | 평가를 식별하기 위해 자동으로 생성된 번호입니다. |
| 이름 | 평가에 대한 이름 및 설명입니다. |
| 소스 | 평가를 실행할 기록이 포함된 테이블의 이름입니다. |
| 테스트 범위 | 평가의 범위입니다.
|
| 아티팩트 제공자 | 테스트용 기록을 제공하는 아티팩트 필터링 클래스의 목록입니다. |
| 선택한 아티팩트 | 쉼표로 구분된 기록 sys_id 값 목록입니다. 테스트 범위가 선택됨으로 설정되면 이 목록에 지정된 sys_id 값이 있는 레코드에 대해서만 평가가 실행됩니다. |
| 평가 최소 신호 | 평가가 종료되기 전에 수집해야 하는 최소 검색 신호 수입니다.
이 조건이 평가 최소 일 수 조건과 상호 작용하는 방식에 대한 자세한 내용은 종료 기준 연산자를 참조하십시오. |
| 평가 최소 일수 | 종료되기 전에 평가를 활성화해야 하는 최소 일 수입니다.
이 조건이 평가를 위한 최소 신호 조건과 상호 작용하는 방식에 대한 자세한 내용은 End Criteria Operator 항목을 참조하십시오. |
| 종료 기준 연산자 | 평가를 위한 최소 신호와 평가 조건을 위한 최소 일수가 모두 있는 경우 평가 종료 조건에 사용할 논리 연산자입니다.
|
A/B 테스트 평가 실행 테이블
A/B 테스트 평가 실행 [evaluation_execution] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가의 일부로 실행된 개별 작업의 세부 정보가 저장됩니다.
| 열 | 설명 |
|---|---|
| 번호 | 평가 작업을 식별하기 위해 자동 생성된 번호입니다. |
| 평가 | A/B 테스트 평가 [evaluation] 테이블의 평가 기록을 참조합니다. |
| 아티팩트 ID | 이 평가 작업에서 분석한 기록에 대한 Sys_id입니다. |
| 상태 | 기록 평가 실행의 상태입니다.
|
| 시작 날짜 | 평가 작업이 시작된 날짜 및 시간입니다. |
| 종료 날짜 | 평가 작업이 종료된 날짜 및 시간입니다. |
A/B 테스트 평가 매개변수 테이블
A/B 테스트 평가 매개 변수 [evaluation_parameter] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려된 개별 검색 쿼리 매개 변수의 세부 정보가 저장됩니다.
| 열 | 설명 |
|---|---|
| 평가 | A/B 테스트 평가 [evaluation] 테이블의 평가 기록을 참조합니다. |
| 이름 | 평가 매개변수의 이름 및 설명입니다. |
| 아티팩트의 할당된 매개변수 사용 |
|
| 매개변수 값 트래픽 백분율 | A/B 평가 중에 지정 Parameter Values 을 적용할 검색 쿼리의 비율입니다.
|
| 매개변수 값 | 예일 경우 Use Artifact's Assigned Parameter 현재 검색 쿼리 매개변수 값과 비교할 값의 JSON 목록입니다. |
| 매개변수 유형 | 검색 쿼리 매개변수의 유형입니다. 선택한 값에 따라 A/B 평가 중과 후에 A/B 평가가 사용되는 방식이 Parameter Values 결정됩니다. 지원되는 값:
|
| 점수 계산 유형 | 검색 쿼리 매개변수 값 점수를 계산하고 최상의 값을 찾는 데 사용되는 계산 형식입니다. 지원되는 값:
|
| 신호 제공자 | 검색 쿼리 매개변수의 점수를 매기는 데 필요한 검색 신호 제공자입니다. Search Event Signal Provider 은(는) 유일하게 지원되는 값입니다. |
A/B 테스트 평가 파라미터 결과 테이블
A/B 테스트 평가 매개 변수 결과[evaluation_parameter_result] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려된 개별 검색 쿼리 매개 변수에 대한 계산 결과가 저장됩니다.
| 열 | 설명 |
|---|---|
| 평가 실행 | A/B 테스트 평가 실행 [evaluation_execution] 테이블의 평가 실행에 대한 기록을 참조합니다. |
| 파라미터 평가 | A/B 테스트 평가 매개변수 [evaluation_parameter] 테이블의 검색 쿼리 매개변수에 대한 기록 참조입니다. |
| 최고의 값 | 검색 쿼리 매개 변수에 가장 적합한 값으로 Winning Score, 에 의해 결정됩니다. |
| 승리 점수 | 검색 쿼리 매개 변수에 대한 숫자 점수로, 를 Score Calculation Type사용하여 결정됩니다. |
| 점수 메타데이터 | 검색 쿼리 매개변수에 대한 점수 계산의 메타데이터입니다. |
검색 쿼리 매개변수 평가 프레임워크에서 검색 프로파일 제외
실시간 AI 검색 트래픽의 A/B 테스트 평가에서 검색 프로필을 제외합니다. 이 절차에서는 검색 프로필의 검색 결과 관련성 모델과 Q&A Genius 결과 답변 확인 모델을 게시할 때 A/B 테스트 평가 결과를 사용하지 않도록 합니다 AI 검색 .
시작하기 전에
필요한 역할: ais_admin
이 태스크 정보
검색 쿼리 매개변수 평가 프레임워크는 실시간 검색 트래픽을 사용하여 검색 구성 설정에 대한 A/B 테스트 평가를 수행합니다. 기본적으로 AI 검색 모든 검색 프로파일의 구성 설정을 평가합니다.
프로시저
결과
AI 검색 는 제외된 검색 프로필을 사용하는 트래픽에 대해 더 이상 A/B 테스트 평가를 수행하지 않습니다. 머신 러닝 관련성은 더 이상 검색 프로파일의 관련성 모델을 업데이트하지 않습니다.