교육된 분류 솔루션에 대한 대상 메트릭 구성
교육된 머신 러닝 솔루션에 대한 정밀도, 범위 및 회수율 통계 값을 설정합니다.
클래스 또는 솔루션 수준에서 분류 메트릭 값 설정
예측 인텔리전스 는 정밀도, 범위 및 회수율의 세 가지 분류 메트릭 유형을 제공합니다. 이러한 메트릭은 교육된 분류 솔루션 양식의 솔루션 통계 탭에서 구성합니다. 클래스 수준에서 이러한 메트릭에 대한 값을 수동으로 설정할 수 있지만 다룰 클래스가 많은 경우에는 그렇게 하기가 어려울 수 있습니다. 대부분의 경우 솔루션이 학습되기 전까지는 설정할 최적의 값을 알 수 없습니다. 이 항목에서는 솔루션 수준에서만 메트릭 값을 설정하는 데 중점을 둡니다.
솔루션 메트릭 구성
한 메트릭에 값을 적용하면 다른 두 메트릭의 값이 변경됩니다. 이 동작을 통해 실시간으로 메트릭을 반복적으로 수정하여 어떤 값 조합이 특정 결과를 렌더링하는지 확인할 수 있습니다. 메트릭에 새 값을 적용하면 시스템은 새 대상을 고려하여 메트릭을 다시 계산합니다.
메트릭에 값을 적용하면 시스템은 가장 높은 백분율 값을 기반으로 설정한 메트릭을 선호하고 다른 메트릭에 대한 비용을 설정하도록 예측을 학습하도록 요청합니다. 시스템은 이러한 값을 충족하려고 노력하지만 교육 중인 데이터가 분산되는 방식으로 인해 사용자가 요청한 대로 정확하게 설정되지 않을 수 있습니다.
솔루션 수준에서 메트릭 값을 적용하면 시스템이 클래스 수준에서 적절한 값을 자동으로 설정합니다.
- 교육된 ML 솔루션의 솔루션 통계 탭으로 이동합니다.
- 솔루션에 할당하려는 값을 더 잘 이해할 수 있도록 각 메트릭을 정의하는 화면의 녹색 배너 메시지를 검토합니다. 처음 두 메시지 배너는 예상 솔루션 수준 메트릭을 다룹니다. 세 번째 배너는 적용한 솔루션 값을 기반으로 클래스 수준의 결과를 나타냅니다.
- 대상 메트릭 선택 목록에서 구성할 메트릭을 선택합니다.
- 대상 메트릭 값 필드에 0-100 사이의 백분위수 값을 입력합니다.
- 값 적용을 클릭합니다.
- 결과: 솔루션 통계 탭에서 예상 솔루션 정확도, 예상 솔루션 회수 및 예상 솔루션 범위에 대한 값의 변화를 검토할 수 있습니다. 시스템은 사용자가 선택한 대상 메트릭 과 솔루션에 대해 입력한 대상 메트릭 값을 기반으로 이러한 값을 계산합니다.
다음은 최근에 학습된 분류 솔루션에 대한 샘플 방문 페이지입니다. 보시다시피 정밀도 메트릭은 44.18, 회수율은 41.26, 범위는 77.23입니다.
사용 사례에 대해 이러한 기본값을 조정해야 하는 경우 아래의 샘플 구성을 참조하십시오. 예를 들어 구현 중인 분류 솔루션에 따라 정밀도, 재현율 또는 범위에 대한 대상 메트릭 값을 변경할 수 있습니다. 한 메트릭의 대상 메트릭 값(예: 정밀도)을 변경하면 회수율 및 범위 메트릭의 값에도 영향을 줍니다.
정밀도 구성 예
이 예제 시나리오에서는 인시던트 기록을 라우팅하기 위한 수동 분류 프로세스를 올바른 할당 그룹에 자동으로 할당하는 ML 분류 솔루션으로 대체합니다. 이 시나리오의 경우 대상 값을 염두에 두고 시스템이 최소 80%의 시간 동안 올바르게 예측해야 합니다. 따라서 정밀도 메트릭 값을 80 으로 설정하고 값 적용을 클릭합니다.
다음은 시스템이 솔루션에 적용한 메트릭 값입니다. 이 시나리오에서는 정밀도 값 80.04가 요청한 80%를 약간 초과했으므로 해당 값에 만족할 가능성이 높습니다.
범위 구성 예
인시던트 기록 라우팅을 위한 수동 분류 프로세스를 대체하는 또 다른 예시 시나리오에서는 최소 목표는 해당 연중 1분기에 수신되는 인시던트의 70% 이상을 예측하는 것입니다. 따라서 범위 메트릭 값을 70 으로 설정하고 값 적용을 클릭합니다.
시스템이 솔루션에 적용되는 메트릭 값은 다음 이미지에 표시됩니다. 범위 메트릭 값이 35.99에서 55.98로 증가했습니다. 그러나 정밀도 지표는 80.18에서 64.97로 감소했습니다. 이는 범위 메트릭을 상대적으로 높은 값인 70으로 설정했거나 교육 중인 데이터가 배포되는 방식 때문일 수 있습니다.
회수 구성 예
또 다른 시나리오에서는 수신 이메일이 피싱인지 여부를 분류하는 것이 보안 관련 머신 러닝 솔루션에서 중요한 사용 사례가 될 수 있습니다. 이러한 상황에서는 모든 피싱을 식별하는 것이 매우 중요하며 피싱이 아닌 피싱을 가끔 피싱으로 보고해도 괜찮을 수 있습니다. 그러나 실제 피싱은 피싱이 아닌 것으로 분류되어서는 안 됩니다. 이러한 상황에서 회수율 메트릭의 값이 높아야 하며, 이로 인해 정밀도와 범위의 백분율이 낮아질 수 있습니다. 따라서 여기에서 회수율 메트릭을 95 로 설정하고 값 적용을 클릭할 수 있습니다.
다음은 시스템이 솔루션에 적용한 메트릭 값입니다. 회수율 메트릭 값이 54.87에서 61.03으로 증가했습니다. 그러나 정밀도 메트릭은 60.1에서 55.44로 감소했습니다. 이는 회수율 메트릭을 높은 값인 95로 설정했기 때문일 수 있습니다.
솔루션에 적용하는 솔루션 메트릭 값의 클래스 수준 결과
다음 이미지는 시스템이 37개 클래스에 대한 솔루션의 정밀도, 범위 및 회수율 통계에 적용한 클래스 수준 결과의 예를 보여줍니다. 결과에 완전히 만족할 때까지 메트릭 값을 계속 수정할 수 있습니다.
예상된 정밀도 열에서 정렬(z-a)하면 솔루션에 대해 어떤 클래스의 정밀도가 가장 높은지 확인할 수 있습니다.