프롬프트 평가

  • 릴리스 버전: Australia
  • 업데이트 날짜 2025년 07월 31일
  • 소요 시간: 2분

    • 평가 도구를 사용하여 Now Assist 기술 키트 기술 프롬프트의 효과를 평가합니다.

    시작하기 전에

    필요한 역할: sn_skill_builder.admin

    프로시저

    1. 다음으로 이동 모두 > Now Assist 기술 키트 > 홈.
    2. 평가할 기술을 선택합니다.
    3. 프롬프트 성능 탭을 선택합니다.
    4. 평가 실행 탭을 선택합니다.
    5. 테이블 또는 데이터 컬렉션에서 데이터 세트를 생성합니다.
      표 1. 데이터 세트 생성
      방법 단계
      테이블에서 데이터 세트 생성
      1. 데이터 세트에 이름과 설명을 지정합니다.
      2. 테이블을 선택합니다.
      3. 사용할 테이블을 찾습니다.
      4. 사용할 기록의 최대 수를 선택합니다.
      5. 조건을 추가합니다.
      6. 미리 보기 생성을 선택합니다.
      7. 매핑을 선택합니다.
      8. 생성을 선택합니다.
      데이터 수집에서 데이터 세트 생성
      1. 데이터 세트에 이름과 설명을 지정합니다.
      2. 데이터 수집을 선택합니다.
      3. 에서 생성한 Now Assist 데이터 키트데이터 수집을 선택합니다.
      4. 미리 보기 생성을 선택합니다.
      5. 매핑을 선택합니다.
      6. 생성을 선택합니다.
    6. 평가 실행에 대한 추가 아이콘 추가 아이콘을선택합니다.
    7. 평가 실행에 이름과 설명을 지정합니다.
    8. 평가할 프롬프트를 하나 이상 선택합니다.
    9. 저장 후 다음을 선택합니다.
    10. 데이터 세트를 선택합니다.
    11. 저장 후 다음을 선택합니다.
    12. 품질 탭을 확장합니다.
    13. 평가할 메트릭을 선택합니다.
      표 2. 평가 메트릭
      평가 방법 메트릭 설명
      인간 인적 피드백 인적 평가는 응답을 생성하는 모든 프롬프트 실행에 사용할 수 있는 기본 옵션입니다. 만족도에 따라 좋아요 또는 싫어요로 응답을 평가할 수 있습니다. 평가 선택을 설명하는 보다 자세한 피드백을 제공할 수도 있습니다.
      자동 정확도 정확성 메트릭은 주어진 지침과 관련하여 생성된 응답의 정확성, 완전성, 관련성 및 쓰기 품질을 평가합니다. 이 메트릭은 텍스트가 지침을 정확하게 반영하고, 중요한 모든 요점을 다루고, 관련성을 유지하고, 잘 작성되었는지 확인하는 데 도움이 됩니다.
      자동 골든 응답을 사용한 정확성 골든 응답을 사용한 정확성 메트릭은 미리 정의된 참조를 사용하여 주어진 지침과 관련하여 생성된 응답의 정확성, 완전성, 관련성 및 쓰기 품질을 평가합니다. 이 메트릭은 텍스트가 지침을 정확하게 반영하고, 중요한 모든 요점을 다루고, 관련성을 유지하고, 잘 작성되었는지 확인하는 데 도움이 됩니다. 가능하면 이 메트릭을 사용해야 합니다.
      자동 충실도 충실도 메트릭은 생성된 응답이 지정된 지침에 제공된 정보와 컨텍스트를 정확하게 반영하는지 여부를 평가합니다. 이 지표는 텍스트에 환각, 조작된 사실 또는 뒷받침되지 않는 결론이 포함되어 있지 않은지 확인하고 원본 자료와의 일관성을 유지하는 데 도움이 됩니다.
    14. 저장 후 다음을 선택합니다.
    15. 선택한 평가를 검토합니다.
    16. 저장 및 평가를 선택합니다.
    17. 옵션: 인간적 평가를 제공합니다.
      1. 인적 평가를 선택합니다.
      2. 평가에 사용할 기록을 선택합니다.
      3. 프롬프트를 확장하고 결과를 읽습니다.
      4. 좋아요 아이콘 또는 싫어요 아이콘, 사람의 평가, 좋아요 또는 싫어요 아이콘을 선택하여 평가를 제공합니다.
      5. 추가 정보를 추가하고 제출을 선택합니다.