Now Assist 기술 키트를 사용하여 데이터 세트 생성
다음 가이드라인을 사용하여 효과적인 데이터 세트를 생성합니다. 효과적인 데이터 세트가 있으면 프롬프트에 더 나은 결과를 얻을 수 있습니다.
Now Assist 기술 키트 데이터 세트 생성 개요
기술 개발에 대한 데이터 기반 접근 방식은 기술을 개발하고 테스트하기 위해 고품질 데이터 세트를 수집하는 데 의존합니다. 를 사용하면 Now Assist 기술 키트의 기존 기능을 ServiceNow AI Platform 활용하여 고품질 데이터 세트를 생성할 수도 있습니다.
이 목적을 위해 데이터를 수집할 때는 다음과 같은 데이터 세트를 생성하는 것을 목표로 해야 합니다.
- 기술의 의도된 배포 환경을 나타냅니다. 데이터는 다음과 같아야 합니다.
- 배포 환경에서 예상되는 입력 분포를 반영하려고 합니다.
- 식별된 여러 축을 따라 차이를 캡처합니다(예: 입력 길이, 긴급도).
- 사용 사례에 중요한 것으로 알려진 입력의 예를 포함합니다.
- 에지 케이스(드물지만 문제를 일으킬 것으로 의심되는 케이스(예: 긴 예제)를 고려하십시오.
- 팀의 위험 선호도에 적합한 크기입니다.
- 적은 데이터로 기술을 개발하고 배포할 수 있습니다. 그러나 데이터가 부족하면 배포 시 기술이 수행되는 방식에 대한 불확실성이 더 커집니다.
- 통계학자처럼 생각하고 관련 성과 점수 및 프롬프트 비교에 대한 신뢰 구간을 생성해야 합니다.
- 프롬프트를 개발하고 작성하는 데 사용되는 데이터와 격리됩니다.
- 수집된 데이터를 개발 세트와 테스트 세트로 분할해야 합니다. 데이터를 분할하면 평가 목적으로만 일부 데이터를 보호할 수 있습니다.
- 프롬프트를 개발하는 과정에서 모든 데이터를 사용하면 기술에 대한 최종 평가가 편향되어 성능이 과도하게 보고된다는 의미입니다. 이 편향은 프롬프트 과적합으로 알려진 현상 때문입니다.