검색 쿼리 매개변수 평가 프레임워크

  • 릴리스 버전: Australia
  • 업데이트 날짜 2026년 03월 12일
  • 소요 시간: 9분

    • AI 검색 는 대체 검색 쿼리 매개변수 값 집합에 대한 결과 관련성을 비교하는 A/B 테스트 평가를 수행합니다. 이러한 평가를 통해 머신 러닝 관련성 및 Q&A Genius 결과에 사용하는 모델 AI 검색 이 결정됩니다.

    검색 쿼리 매개변수 평가 프레임워크를 사용하면 라이브 검색 트래픽에 대한 A/B 관련성 테스트를 사용할 수 있습니다. AI 검색 다음 결정을 내릴 때 집계된 검색 신호 데이터의 오프라인 평가와 함께 이 라이브 테스트의 결과를 고려합니다.
    • 검색 프로파일에 대해 게시할 관련성 모델을 결정합니다. 관련성 모델의 생성 및 게시에 대한 자세한 내용은 다음 문서를 참조하십시오 AI 검색의 머신 러닝 관련성.
    • 잠재적인 Q&A Genius 결과 답변을 확인할 때 사용할 머신 독해(MRC) 모델을 결정합니다. Q&A Genius 결과에 사용되는 MRC 모델에 대한 자세한 내용은 다음 문서를 참조하십시오 Q&A Genius 결과.
    AI 검색 는 야간에 A/B 테스트 평가 결과를 계산합니다.
    주:
    검색 쿼리 매개변수 평가 프레임워크는 사용자가 구성한 A/B 테스트를 지원하지 않습니다. 모든 A/B 테스트는 머신 러닝 관련성 모델 평가의 일환으로 자동으로 수행됩니다 AI 검색 .

    검색 쿼리 매개 변수 평가 프레임워크는 적응형 원격 분석 기능 제품군의 일부입니다.

    검색 쿼리 매개변수 평가 프레임워크 테이블

    의 검색 쿼리 매개변수 평가 프레임워크는 AI 검색 테이블을 사용하여 라이브 검색 트래픽의 A/B 테스트에서 얻은 결과와 메트릭을 저장합니다. AI 검색 는 검색 애플리케이션용으로 게시할 관련성 모델과 Q&A Genius 결과 답변 확인 모델을 결정할 때 저장된 데이터를 사용합니다.

    A/B 테스트 평가 테이블

    A/B 테스트 평가 [evaluation] 테이블에는 라이브 검색 트래픽에 대해 수행된 A/B 테스트 평가에 대한 세부 정보가 저장됩니다.
    주:
    시스템이 자동으로 이 테이블을 정리하고 2년 이상 된 비활성 평가에 대한 기록을 제거합니다.
    표 1. 평가
    열 설명
    번호 평가를 식별하기 위해 자동 생성된 번호입니다.
    이름 평가의 이름 및 설명입니다.
    소스 평가를 실행할 기록이 포함된 테이블의 이름입니다.
    테스트 범위 평가 범위입니다.
    • 지원되는 값:
      • ALL: 소스에서 지정한 테이블의 모든 기록에 대해 평가를 실행합니다.
      • SELECTED: 선택한 아티팩트 필드 값에 지정된 기록에 대해서만 평가를 실행합니다.
    • 기본값: ALL
    아티팩트 제공자 테스트용 기록을 제공하는 아티팩트 필터링 클래스의 목록입니다.
    선택한 아티팩트 기록 sys_id 값을 쉼표로 구분한 목록입니다. 테스트 범위가 선택됨으로 설정되면 이 목록에 지정된 sys_id 값을 가진 기록에 대해서만 평가가 실행됩니다.
    평가를 위한 최소 신호 평가가 종료되기 전에 수집해야 하는 최소 검색 신호 수입니다.
    • 유형: 정수
    • 기본값: 0 (최소값 없음)
    • 최대값: 30000

    이 조건이 평가를 위한 최소 일 수 조건과 상호 작용하는 방식에 대한 자세한 내용은 종료 기준 연산자를 참조하십시오.
    평가 최소 일수 종료되기 전에 평가가 활성 상태여야 하는 최소 일수입니다.
    • 유형: 정수
    • 기본값: 0 (최소값 없음)
    • 최대값: 180

    이 조건이 평가를 위한 최소 신호 조건과 상호 작용하는 방식에 대한 자세한 내용은 종료 기준 연산자를 참조하십시오.
    종료 기준 연산자 평가에 대한 최소 신호 조건과 평가에 대한 최소 일수 조건이 모두 존재할 때 평가 종료 조건에 사용할 논리 연산자입니다.
    • 지원되는 값:
      • AND: 평가를 위한 최소 신호 조건과 평가를 위한 최소 일 수 조건이 모두 충족될 때까지 평가는 활성 상태로 유지됩니다.
      • OR: 평가를 위한 최소 신호 또는 평가를 위한 최소 일 수 조건 중 하나가 충족될 때까지 평가가 활성 상태로 유지됩니다.
    • 기본값: OR

    A/B 테스트 평가 실행 테이블

    A/B 테스트 평가 실행[evaluation_execution] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가의 일부로 실행된 개별 작업의 세부 정보가 저장됩니다.

    표 2. evaluation_execution
    열 설명
    번호 평가 작업을 식별하기 위해 자동 생성된 번호입니다.
    평가 A/B 테스트 평가 [evaluation] 테이블의 평가 기록에 대한 참조입니다.
    아티팩트 ID 이 평가 작업에서 분석한 기록에 대한 Sys_id입니다.
    상태 기록 평가 실행의 상태입니다.
    • 지원되는 값:
      • Queued: 평가 작업이 실행을 위해 큐에 대기 중입니다.
      • In Progress: 평가 작업이 진행 중입니다.
      • Scoring: 평가 작업이 점수 매기기 단계에 있습니다.
      • Complete: 평가 작업이 성공적으로 완료되었습니다.
      • Errored: 오류로 인해 평가 작업이 실패했습니다.
      • Canceled: 평가 작업이 시스템에 의해 취소되었습니다.
      • Suspended: 평가 작업이 시스템에 의해 일시 중단되었습니다.
    • 기본값: Queued
    시작 날짜 평가 작업이 시작된 날짜 및 시간입니다.
    종료 날짜 평가 작업이 종료된 날짜 및 시간입니다.

    A/B 테스트 평가 매개변수 테이블

    A/B 테스트 평가 매개변수 [evaluation_parameter] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려되는 개별 검색 쿼리 매개변수의 세부 정보가 저장됩니다.

    표 3. evaluation_parameter
    열 설명
    평가 A/B 테스트 평가 [evaluation] 테이블의 평가 기록에 대한 참조입니다.
    이름 평가 매개변수의 이름 및 설명입니다.
    아티팩트의 할당된 매개변수 사용
    • 유형: true | false
    • 지원되는 값:
      • true: 지정된 Parameter Values 항목을 제공된 아티팩트에 현재 할당된 검색 쿼리 매개변수 값과 비교합니다.
      • false: 지정된 항목을 Parameter Values 제공된 아티팩트에 현재 할당된 검색 쿼리 매개변수 값과 비교하지 마십시오.
    • 기본값: true
    매개변수 값 트래픽 백분율 A/B 평가 중에 지정한 Parameter Values 항목을 적용할 검색 쿼리의 백분율입니다.
    • 유형: 정수
    • 기본값: 0
    • 최대값: 100
    매개변수 값 예일 경우 Use Artifact's Assigned Parameter 현재 검색 쿼리 매개변수 값과 비교할 값의 JSON 목록입니다.
    매개변수 유형 검색 쿼리 매개변수를 입력합니다. 선택한 값에 따라 A/B 평가 도중 및 이후에 사용되는 Parameter Values 방법이 결정됩니다.
    지원되는 값:
    • Search Context Parameters: 검색 프로파일 컨텍스트 매개변수를 검색 쿼리 요청에 대한 매개변수와 Parameter Values 병합하고 재정의합니다. 평가가 끝나면 최우선 점수로 설정된 검색 쿼리 컨텍스트 매개변수 값을 사용하여 관련 검색 프로파일 컨텍스트 매개변수를 재정의하거나 병합합니다.
    • Search QnA Genius Result Configuration: 검색 쿼리 요청에 사용되는 Q&A Genius 결과 구성에 적용 Parameter Values 합니다. 평가가 끝나면 최우선 점수와 함께 Genius 결과 구성 매개변수 값을 포함하도록 관련 검색 프로파일을 업데이트합니다.
    • Search QnA Model: 검색 쿼리 요청에 사용되는 Q&A Genius 결과 모델에 적용됩니다 Parameter Values . 평가가 끝나면 Q&A Genius 결과 모델 매개변수 값을 최우선 점수와 함께 포함하도록 관련 검색 프로파일을 업데이트합니다.
    • Search Relevancy Model: 검색 쿼리 요청에 사용할 검색 관련성 모델로 적용 Parameter Values 합니다. 평가가 끝나면 관련 검색 프로파일을 업데이트하여 최우선 점수와 함께 관련성 모델 매개변수 값을 포함합니다.
    • Search REST Parameters: 검색 프로파일 쿼리 매개변수를 검색 쿼리 요청에 대한 매개변수로 Parameter Values 병합하고 재정의합니다. 평가가 끝나면 최우선 점수로 설정된 검색 쿼리 매개변수 값을 사용하여 관련 검색 프로파일 매개변수를 재정의하거나 병합합니다.
    점수 계산 유형 검색 쿼리 매개변수 값 점수를 계산하고 최적의 값을 찾는 데 사용되는 계산 양식입니다.
    지원되는 값:
    • Average Click Position: 가장 적합한 검색 쿼리 매개변수 값은 평균 클릭 위치 점수가 가장 낮은 값입니다.
      주:
      AI 검색 선택한 모든 검색 결과 순위의 합계를 검색 수로 나누어 평균 클릭 위치 점수를 계산합니다. 가장 높은 순위의 검색 결과는 1순위, 그 다음으로 높은 검색 결과는 2순위입니다. 예를 들어, 두 번의 검색을 수행하여 한 케이스에서 첫 번째 결과를 선택하고 다른 케이스에서 두 번째 결과를 선택하면 평균 클릭 위치 점수는 (1 + 2) / 2 = 1.5입니다.
    • Genius Result Helpfulness: 최상의 검색 쿼리 매개변수 값은 유용성 점수가 가장 높은 값입니다. 이 계산은 관련 Genius 결과 답변이 검색 결과에 표시되었는지 여부를 고려하여 고려합니다.
      주:
      유용성 점수는 Genius 결과 답변이 검색 컨텍스트에서 유용했는지 여부를 나타내는 메트릭입니다.
    • Helpfulness: 최상의 검색 쿼리 매개변수 값은 유용성 점수가 가장 높은 값입니다. 와 달리 Genius Result Helpfulness이 계산에서는 관련 Genius 결과 답변이 검색 결과에 표시되었는지 여부는 고려하지 않습니다.
    신호 제공자 검색 쿼리 매개변수의 점수를 매기는 데 필요한 검색 신호의 제공자입니다. Search Event Signal Provider 은(는) 유일하게 지원되는 값입니다.

    A/B 테스트 평가 매개변수 결과 테이블

    A/B 테스트 평가 매개변수 결과 [evaluation_parameter_result] 테이블에는 라이브 검색 트래픽에 대한 A/B 테스트 평가에서 고려된 개별 검색 쿼리 매개변수에 대한 계산 결과가 저장됩니다.

    표 4. evaluation_parameter_result
    열 설명
    평가 실행 A/B 테스트 평가 실행[evaluation_execution] 테이블의 평가 실행 기록에 대한 참조입니다.
    매개변수 평가 A/B 테스트 평가 매개변수 [evaluation_parameter] 테이블의 검색 쿼리 매개변수에 대한 기록의 참조입니다.
    최고의 가치 검색에 의해 Winning Score결정되는 검색 쿼리 매개변수에 가장 적합한 값입니다.
    승리 점수 검색 쿼리 매개변수에 대한 숫자 점수로, Score Calculation Type.
    점수 메타데이터 검색 쿼리 매개변수에 대한 점수 계산의 메타데이터입니다.

    검색 쿼리 매개변수 평가 프레임워크에서 검색 프로파일 제외

    라이브 AI 검색 트래픽의 A/B 테스트 평가에서 검색 프로파일을 제외합니다. 이 절차는 검색 프로파일의 검색 결과 관련성 모델 및 Q&A Genius 결과 답변 확인 모델을 게시할 때 A/B 테스트 평가 결과를 사용할 수 없도록 합니다 AI 검색 .

    시작하기 전에

    필요한 역할: ais_admin

    이 태스크 정보

    검색 쿼리 매개변수 평가 프레임워크는 라이브 검색 트래픽을 사용하여 검색 구성 설정에 대한 A/B 테스트 평가를 수행합니다. 기본적으로 AI 검색 모든 검색 프로파일의 구성 설정을 평가합니다.

    검색 관리자는 검색 쿼리 매개변수 평가 프레임워크에서 개별 검색 프로파일을 제외할 수 있습니다. 프레임워크에서 검색 프로파일을 제외하면 제외된 검색 프로파일을 사용하는 라이브 검색 트래픽에 대한 A/B 테스트 평가를 수행할 수 없습니다 AI 검색 .
    주:
    검색 프로파일을 평가 AI 검색 에서 제외하면 해당 검색 프로파일에 대한 머신 러닝 관련성 및 머신 독해(MRC) 모델을 업데이트할 때 더 이상 평가 결과를 고려하지 않습니다. 따라서 검색 프로필에 대한 관련성 점수 매기기 설정 및 Q&A Genius 결과 답변 필터링 설정은 검색 트래픽을 덜 반영할 수 있습니다. 이러한 모델을 게시할 때 A/B 평가 테스트 결과를 사용하는 방법에 AI 검색 대한 자세한 내용은 해당 문서를 참조하십시오 AI 검색의 머신 러닝 관련성Q&A Genius 결과.

    프로시저

    1. 다음으로 이동 모두 > AI 검색 > 검색 환경 > 검색 프로파일.
    2. 라이브 검색 트래픽의 A/B 테스트 평가에서 제외하려는 검색 프로필의 기록을 엽니다.
    3. 검색 프로파일 양식에 평가에서 제외 필드가 아직 표시되지 않은 경우 필드가 표시되도록 양식 레이아웃을 구성합니다.
      필드를 표시하도록 양식 레이아웃을 구성하는 방법에 대한 자세한 내용은 다음 문서를 참조하십시오 양식 레이아웃 구성.
    4. 평가에서 제외 옵션을 선택합니다.
    5. 업데이트를 선택합니다.

    결과

    AI 검색 는 더 이상 제외된 검색 프로파일을 사용하는 트래픽에 대한 A/B 테스트 평가를 수행하지 않습니다. 머신 러닝 관련성은 더 이상 검색 프로파일의 관련성 모델을 업데이트하지 않습니다.