AI 에이전트 및 에이전틱 워크플로우를 평가하기 위한 사용자 지정 메트릭을 생성하여 예상 응답에 대한 출력을 테스트합니다.
시작하기 전에
필요한 역할: sn_aia.admin
이 태스크 정보
사용자 지정 메트릭을 사용하면 AI 에이전트 및 에이전틱 워크플로우의 효과를 측정할 수 있습니다. 하나 또는 여러 에이전틱 AI 자산에 적용되는 사용자 지정 메트릭을 생성할 수 있습니다. 생성된 후에는 에이전트 평가를 위해 안내 설정에서 사용자 지정 메트릭을 선택할 수 있습니다. Now Assist 애플리케이션과 함께 설치된 사용자 지정 메트릭과 메트릭을 모두 선택하거나 둘 중 하나를 선택할 수 있습니다. 사용자 지정 메트릭의 예는 다음과 같습니다.
- 응답에 특정 구문이 있는지 테스트
- 상세 정보 테스트를 위한 응답의 길이 측정
스크립트를 작성할 때 파서 도구의 출력에 액세스할 수 있습니다. 작동 방식에 대한 자세한 내용은 에이전트 기반 평가 파서 도구를 참조하십시오.
프로시저
-
다음으로 이동 .
-
평가 메트릭 탭으로 이동하여 메트릭 생성을 선택합니다.
-
일반 정보 단계에서 사용자 지정 메트릭의 이름과 간단한 설명을 입력합니다.
계속 및 뒤로 버튼을 사용하여 안내 설정의 단계 사이를 이동할 수 있습니다. 사용자 지정 메트릭의 이름을 입력한 후 스크립트 편집기로 건너뛰기를 선택하여 스크립트 작성으로 바로 건너뛸 수 있습니다. 나중에 스크립트 편집기의 메트릭 설정 탭에서 상세 정보를 입력할 수 있습니다.
- 옵션:
메트릭 상세 정보 단계에서 평가 메트릭, 작동 방식 및 메트릭의 출력 형식에 대한 정보를 추가합니다.
이 컨텐츠 사용을 선택하면 입력한 상세 정보가 에이전트 평가 실행에 대한 안내 설정의 옵션과 함께 표시됩니다.
상세 정보를 입력할 필요는 없지만 사용자 지정 메트릭 개발 프로세스에 도움이 되는 유용한 정보와 컨텍스트를 제공할 수 있습니다. 스크립트 편집기의 메트릭 설정 탭에서 메트릭 상세 정보를 추가할 수도 있습니다.
-
안내 설정의 요약 단계에서 메트릭 정보를 검토한 후 설정 완료 를 선택하여 스크립트 편집기로 리디렉션합니다.
- 옵션:
메트릭 입력을 추가합니다.
기본적으로 실행 계획 기록 sys_id는 메트릭 입력으로 포함됩니다.
파서 도구를 사용하면 XML 또는 JSON 콘텐츠를 직접 구문 분석할 필요 없이 실행 계획 로그의 콘텐츠에 액세스할 수 있습니다. tool.output을 사용하여 파서 도구의 출력에 액세스할 수 있습니다.
-
메트릭 입력 섹션에서 더하기 아이콘을 선택하여 메트릭 입력 추가 모달을 엽니다.
-
양식을 작성합니다.
| 필드 |
설명 |
| 입력 데이터 유형 | 입력의 데이터 유형과 형식을 선택하는 드롭다운 선택기 |
| 이름 | 짧고 사용자 친화적인 입력 이름 |
| 설명 | 입력에 대한 설명입니다. 스크립트 편집기의 메트릭 입력 섹션에서 입력을 선택하여 입력에 대한 설명을 볼 수 있습니다. |
| 테스트 값 | 스크립트 편집기에서 스크립트를 테스트하는 데 사용되는 기본 입력 값 |
| 필수 | 평가를 실행하기 위해 입력 제공이 필요한지 여부를 결정합니다. |
-
추가를 선택합니다.
-
스크립트 기반 메트릭을 작성합니다.
스크립트 편집기의 기본 코드 블록에는 스크립트 작성 프로세스를 안내할 수 있는 주석 처리된 코드가 포함되어 있습니다.
언제든지 메트릭 출력 템플릿을 선택하여 기술 키트에서 평가 실행 결과를 볼 때 출력이 올바르게 표시되는 데 필요한 코드를 확인할 수 있습니다. 이 콘텐츠는 스크립트 편집기를 처음 열 때 기본 코드 블록에도 포함됩니다. 필요한 경우 템플릿을 복사하여 스크립트에 붙여넣을 수 있습니다. 값을 사용자 지정 메트릭의 결과로 변경해야 합니다.
메트릭 설정 탭의 안내 설정에서 사용자 지정 메트릭의 상세 정보를 검토할 수 있습니다.
변경한 경우 저장 버튼을 선택하여 변경 내용을 저장할 수 있습니다.
중요사항: 저장하더라도 메트릭을 게시할 때까지 에이전트 평가 실행에서 메트릭을 사용할 수 없습니다.
-
테스트 실행을 선택하여 테스트 실행 모달을 열고 메트릭 테스트 입력을 입력한 다음 테스트를 실행합니다.
하나 이상의 테스트를 실행한 후 전체 실행 및 파서 도구의 응답과 요청을 검토할 수 있습니다.
하나 이상의 테스트를 실행한 후 테스트 실행 드롭다운 버튼을 선택하고 테스트 기록 실행을 선택하여 과거 테스트 결과가 포함된 새 사이드바를 열 수 있습니다. 테스트를 실행한 사용자를 기준으로 테스트 실행을 필터링할 수 있습니다.
-
메트릭 게시를 선택하여 스크립트를 저장하고 메트릭을 활성화합니다.
게시하기 전에 출력이 메트릭 출력 템플릿과 일치하는지 확인합니다. 그렇지 않으면 메트릭이 예상대로 작동하지 않거나 평가 실행 결과 페이지에 올바르게 표시되지 않을 수 있습니다.
결과
에이전틱 AI 자산을 평가하는 데 사용할 수 있는 새 사용자 지정 메트릭이 있습니다.
다음에 수행할 작업
평가 실행을 실행하고 안내 설정에서 사용자 지정 메트릭을 선택합니다. 평가 실행 실행에 대한 자세한 내용은 에이전트 기반 AI 평가를 참조하십시오.
평가 실행에 대한 안내 설정에 사용자 지정 메트릭이 표시되지 않으면 게시했는지 확인하십시오.