평가 설정 및 실행에 대한 일반적인 질문에 대한 답변을 찾아봅니다.

자동화된 평가 전에 준비해야 하는 것이 있습니까?

시작하기 전에 다음을 확인하십시오.

• 플레이그라운드에서 에이전트 또는 워크플로우를 테스트합니다. 명백한 문제를 조기에 포착합니다. 심층적인 검증에는 자동화된 평가가 가장 적합합니다.
• 테스트 시나리오를 생성하거나 설정 중에 이전 에이전트 또는 워크플로우 실행의 시나리오를 사용하는 경우 테이블에 필요한 모든 입력이 있는지 확인합니다.
• 충분한 시나리오를 준비합니다. 최소 100개를 권장합니다. 평가는 에이전트를 겪게 한 상황에 따라 강력합니다.
• 성공의 의미를 정의합니다. 에이전트에 적합한 출력이 무엇인지 명확히 합니다.

첫 번째 자동화된 평가를 설정하려면 어떻게 해야 합니까?

평가를 설정하려면 안내 플로우를 따르십시오.

1. 에이전트 또는 워크플로우와 해당 버전을 선택합니다.
2. 메트릭을 내장 또는 사용자 지정으로 선택합니다.
3. 기존 데이터 세트를 사용하거나 빌드 방법을 결정합니다.

이제 평가할 준비가 되었습니다.

사용자 지정 메트릭은 언제 생성해야 합니까?

고유한 평가 기준이 있고 내장 메트릭에서 다루 ServiceNow지 않는 워크플로우 또는 에이전트별 동작을 측정하려는 경우 사용자 지정 메트릭을 생성합니다. 예를 들어 다음을 수행할 수 있습니다.

• 에이전트의 응답에 특정 구문이 나타나는지 확인합니다.
• 응답 길이를 측정하여 자세한 정보 또는 간결성을 평가합니다.

에이전틱 평가를 위한 데이터 세트를 빌드하려면 어떻게 해야 합니까?

에이전트 기반 평가를 위한 데이터 세트를 구축하는 방법에는 두 가지가 있지만 먼저 데이터 세트가 무엇인지 명확히 하겠습니다. 데이터 세트에는 AI 에이전트 또는 워크플로우가 인시던트, 케이스 또는 작업과 같은 기록을 처리할 때 발생하는 상황을 캡처하는 실행 로그가 포함되어야 합니다. 다음 중 하나를 통해 데이터 세트를 생성할 수 있습니다.

• 이전 에이전트 또는 워크플로우 실행의 로그 사용 또는
• 설정 후 에이전트 또는 워크플로우를 실행하여 새 로그를 생성합니다.

자동 평가 후 다음 단계는 무엇입니까?

평가 결과를 검토하여 다음을 수행합니다.

• 에이전트 또는 워크플로우의 구성 격차 식별
• 배포 준비 상태 평가
• 입력 또는 설명이 있는 문제의 도구 성능 분석
• 개별 실행 및 메트릭 점수로 드릴다운

으로 AI 에이전트 스튜디오 돌아가 구성을 구체화한 다음 평가를 다시 실행하여 개선 사항을 추적합니다.

사용자 지정 메트릭을 만들려면 어떻게 해야 합니까?

몇 단계에 걸쳐 사용자 지정 메트릭을 생성합니다.

1. 메트릭의 이름을 지정하고 설명하십시오.
2. 평가 범위(에이전틱 워크플로우, 에이전트 또는 둘 다)를 정의합니다.
3. 측정 대상, 작동 방식 및 출력 형식을 지정합니다.
4. 메트릭 입력을 추가하고 스크립트 기반 메트릭을 작성합니다.
5. 저장하고 게시하여 사용할 수 있도록 합니다.

평가 결과는 어떻게 해석합니까?

선택한 메트릭에 따라 각 실행에 모든 메트릭에 대한 점수가 표시됩니다. 점수의 의미를 이해하려면 "메트릭 가이드"를 참조하십시오. 성공과 실패에 대한 조직의 정의에 맞게 메트릭 임계치를 사용자 지정할 수도 있습니다.

평가 진행률을 추적하려면 어떻게 해야 합니까?

평가에는 다소 시간이 걸릴 수 있지만 페이지에 머무를 필요는 없습니다. 홈페이지에서 모든 평가를 추적하고 조치가 필요한지 확인할 수도 있습니다.

사용자 지정 메트릭을 생성하는 동안 파서 도구는 어떻게 사용됩니까?

에이전틱 평가를 위한 사용자 지정 메트릭을 만들 때 메트릭 입력을 제공하는 것은 선택 사항이며 기본적으로 "실행 계획 기록 sys_id"이 포함됩니다. 또한 실행 로그에서 구조화된 데이터를 가져오는 파서 도구도 제공하므로 XML 또는 JSON을 통해 수동으로 구문 분석할 필요가 없습니다. 도구 출력을 사용하여 파서 도구의 출력에 액세스할 수 있습니다.