요약 사용량

기본적으로 조정 NLU 워크벤치 하면 문제 자동 해결 정밀도가 최적화됩니다. 비즈니스 요구 사항에 따라 다른 목표를 위해 모델을 조정할 수도 있습니다. 문제 자동 해결 조정의 분석 단계에서 조정 목표 목록을 사용하여 정밀도, 자동화 또는 균형을 조정할 수 있습니다. 이러한 옵션 중 하나를 선택하면 예상 일치율 과 IAR 적용 범위 백분율이 그에 따라 변경되므로 가능한 결과를 비교할 수 있습니다.

튜닝의 IAR분석 단계에 액세스하려면 nlu_admin 역할을 사용하여 다음과 같이 탐색합니다.

1. 다음으로 이동 모두 > NLU 워크벤치 > 모델레이블이 표시됩니다.
2. 문제 자동 해결 탭을 선택한 다음 모델 이름을 선택합니다. 튜닝 환경은 처음에 1단계(피드백)로 열립니다.
3. 피드백을 제공한 다음, 분석 단추를 선택합니다. 2단계(분석)가 열립니다.
4. 조정 옵션 및 예상 결과는 다음과 같습니다 섹션에서 정밀도, 자동화 또는 균형에 대해 조정할 수 있는 목록을 사용하여 옵션을 선택하여 예상 시나리오를 확인합니다. 목표 조정에 대해 알아보기 링크를 선택하여 다음 창을 열 수도 있습니다.

정확도

정밀도 IAR 를 위해 조정된 경우 모델은 신뢰도가 상대적으로 높은 경우에만 예측을 수행합니다. 따라서 오류율은 낮아지지만 해결된 인시던트도 줄어듭니다.

정밀도는 ITSM 모델에 권장되는 조정 옵션 IAR 이므로 기본적으로 이 옵션이 선택됩니다.

자동화

자동화 IAR 를 위해 조정된 경우 모델은 더 낮은 신뢰도 임계값으로 예측합니다. 이렇게 하면 더 많은 예측이 발생하므로 더 많은 인시던트가 해결됩니다. 그러나 오류율이 더 높을 수 있습니다.

잔액

균형을 IAR 위해 조정된 경우 모델은 정밀도와 자동화 간의 균형을 맞추려고 시도합니다.

일치율

일치율은 의도가 올바르게 예측된 인시던트 수를 해당 의도에 대한 예측 수로 나눈 값으로 정의됩니다. 이 비율은 NO_INTENT를 제외한 모든 의도의 평균입니다.

IAR 범위

적용 범위는 모델이 신뢰도 임계치를 초과하여 예측할 수 있었기 때문에 해결되는 인시던트의 백분율로 정의됩니다. 예측에는 약간의 오류가 있을 수 있습니다.

튜닝 옵션 사용

여러 가지 튜닝 옵션을 선택하여 예상 결과를 비교합니다. 선택한 옵션에 따라 시스템은 예상 일치율 및 IAR 커버리지 비율에 대한 시나리오를 제공합니다. 또한 선택에 따라 이러한 요율이 얼마나 변경되는지도 시스템에 표시됩니다.

분석의 자세한 분석 섹션에서 자세한 내용을 검토합니다. 여기에서 모델의 각 의도와 관련된 결과로 드릴다운할 수 있습니다.

의도는 주제에 매핑 가상 에이전트 되었는지 여부에 따라 매핑된 의도와 매핑되지 않은 의도로 그룹화됩니다. 조정에서 IAR 피드백을 제공한 후 일부 의도-주제 매핑을 활성화할 수 있습니다. 이렇게 하려면 매핑되지 않은 의도 보기를 확장한 다음 더 많은 의도 매핑 단추를 선택합니다. 그러면 Admin Console이 IAR 열립니다.

요구 사항에 대한 최적의 튜닝 옵션을 결정한 경우 튜닝 목표에 대해 알아보기 창에서 선택 사항 저장 단추를 선택합니다. 그런 다음, 모델 조정 및 게시 단추를 선택하여 다음 단계로 진행합니다.