평가 대시보드와 함께 설치되는 구성요소

  • 릴리스 버전: Australia
  • 업데이트 날짜 2026년 03월 12일
  • 소요 시간: 5분

    • 평가 탭에는 예약된 작업, 테이블, 시스템 속성, 플로우 등 여러 유형의 구성요소가 포함됩니다.

    설치되는 예약된 작업

    예약된 작업 설명

    CE 값 집계 채우기 채팅 - 매일

    이 예약된 스크립트는 매일 실행되며 어제 대화에서 1,000개의 대화를 임의로 선택합니다. 그 후 각 대화에 대해 이 작업은 채팅 기간을 추출하여 소형, 중형 또는 대형으로 분류합니다. 또한 문서 또는 카탈로그 항목이 호출된 지식 채팅을 분류합니다. 또한 평가된 채팅의 경우 채팅 성과에 따라 대화를 분류하고 해당 데이터를 평가 값 집계 테이블에 채웁니다.
    평가 값 계산 - 설치 후 한 번만 실행 평가 값 집계 테이블의 모든 기록을 삭제하고 계산을 다시 실행한 다음 집계된 값을 평가 값 집계 테이블에 저장합니다. 데이터는 첫 번째 평가 날짜의 것입니다.

    설치되는 테이블

    레이블 이름
    평가

    [sn_na_conv_eval_evaluation]
    평가 구성

    [sn_na_conv_eval_evaluation_configurations]
    평가 메트릭

    [sn_na_conv_eval_evaluation_metrics]
    평가 세트

    [sn_na_conv_eval_evaluation_set]

    평가 값 집계

    [sn_na_conv_eval_evaluation_value_aggregates]

    설치되는 원격 테이블

    테이블 설명

    대화 평가자 값 계산

    [sn_na_conv_eval_st_value_calcs]

    지정된 쿼리에 대해 이 원격 테이블의 정의는 소규모, 중규모 및 대규모 채팅에 대한 시간 절약 및 효율성 백분율을 계산합니다. 또한 문서 또는 카탈로그 항목이 호출되었을 때 지식 시간 절약 및 효율성을 반환합니다.
    대화 주간 계산

    [sn_na_conv_eval_weekly_cals]

    		 지정된 쿼리의 경우 이 원격 테이블의 정의는 선택한 날짜 범위의 여러 주에 이루어진 소규모, 중규모 및 대규모 채팅에 대한 시간 절약 및 효율성 백분율을 계산합니다. 또한 선택한 날짜 범위의 다른 모든 주에 대해 문서 또는 카탈로그 항목이 호출된 경우지식 시간 절약 및 효율성을 반환합니다.

    설치되는 시스템 속성

    속성 설명

    sn_na_conv_eval.errorBandMinRecords

    상한 및 하한 편차에 대한 오차 대역을 계산하는 데 필요한 최소 기록 수입니다. 기본적으로 이 값은 30입니다.

    sn_na_conv_eval.evalWeights

    채팅 평가를 위한 각 평가 메트릭에 대한 가중치를 포함합니다. 이 속성은 평가 기록의 합산 또는 종합 점수를 계산하는 데 사용됩니다.

    sn_na_conv_eval.maxEvaluateCount

    하루 동안 평가할 최대 기록 수입니다. 기본적으로 이 값은 200입니다.

    sn_na_conv_eval.total_sampled_conv_count

    값 계산을 위해 샘플링할 수 있는 총 대화 수를 제어하려면 이 속성을 편집합니다. 기본적으로, 값은 1000입니다.
    sn_na_conv_eval.value_chat_classifier

    이 속성을 편집하여 소규모, 중규모 및 대규모 대화의 정의를 변경합니다. 기본적으로 저장되는 값은 4, 10입니다.

    여기서 4와 10은 총 인바운드 메시지 수를 나타냅니다. 대화의 sys_cs_message 테이블에 있는 인바운드 메시지가 4개 이하이면 소규모 대화임을 의미합니다. 인바운드 메시지가 4개 이상이고 인바운드 메시지가 10개 이하이면 중간 규모의 대화이고 10개 이상의 인바운드 메시지는 대규모 대화임을 의미합니다.
    sn_na_conv_eval.ce_value_calculation_weights 평가된 채팅의 각 유형에 대한 값 계산 가중치 값입니다.
    sn_na_conv_eval.eval_value_rerun_status 설치 후 값 계산을 한 번 다시 실행합니다. 이 속성은 대화 평가자 값 재실행 상태의 상태를 확인합니다. 실행된 경우 스크립트는 이 시스템 속성의 값을 false로 변경합니다.

    설치되는 비즈니스 규칙

    이름 시기 삽입 업데이트 필터 조건
    평가 세트에 대한 정보 메시지 추가 다음 날짜 후 예 예 stateCHANGESTOIn Progress^evaluation_type=대화^EQ
    레이블 지정 메트릭 확장 다음 날짜 전 예 예 metric_type=레이블 지정^metric_nameINhelpfulness_chat_eval,intent_recognition_chat_eval,slot_filling_chat_eval,forgetfulness_chat_eval,hallucination_chat_eval,redundancy_chat_eval,deadlock_chat_eval,coherence_chat_eval^raw_scoreVALCHANGES^EQ
    updateLabelingScoresOnEvaluation 다음 날짜 후 예 예 metric_type=레이블 지정^raw_scoreVALCHANGES^metric_nameINhelpfulness_chat_eval,intent_recognition_chat_eval,slot_filling_chat_eval,forgetfulness_chat_eval,hallucination_chat_eval,redundancy_chat_eval,deadlock_chat_eval,coherence_chat_eval^EQ
    편차 점수 업데이트 다음 날짜 전 예 예 metric_type=LLM 생성됨^scoreVALCHANGES^EQ
    getAutoEvalCompositeScore 다음 날짜 후 아니오 예 stateCHANGESTOComplete^total_scoreISEMPTY^EQ

    설치되는 플로우

    플로우 설명

    평가 실행

    대화가 완료되면 평가를 수행합니다.

    기본적으로 평가 실행 플로우는 비활성화되어 있습니다. 야간 예약된 작업인 평가 실행을 사용하여 채팅을 평가할 수 있습니다. 채팅 완료 시 채팅을 평가하려면 평가 실행 플로우를 활성화합니다.
    배치 평가 실행 완료된 가상 에이전트 대화를 최대 100개까지 평가하는 배치 평가를 수행합니다. 플로우는 평가 세트가 생성되거나 업데이트되고 평가 유형이 대화일 때 트리거됩니다.

    설치된 플로우 작업

    플로우 작업 설명

    대화 임의화

    대화의 임의화를 수행하고 지정된 쿼리에서 임의로 100개의 대화를 반환합니다.
    invokeApiDefinition LLM(대규모 언어 모델)에서 OneExtend 역량을 호출합니다.
    채팅 분류 규칙 평가 제목, 범주 및 평가 실행 여부를 제공합니다.
    빌드 트랜스크립트 대화에서 대본을 작성합니다.
    evalExecuteCondition 성적표가 평가하기에 충분한지 확인합니다.

    스크립트 포함 설치됨

    스크립트 포함 설명
    evalExecuteCondition

    이 스크립트 포함을 사용하여 평가 조건을 업데이트합니다.
    evalUtils 평가자의 기본 유틸리티 기능입니다.