교차 모델 상충 검토
모델 내부 또는 모델 간에 상충하는 의도를 식별하여 시정 조치를 취하고 이러한 상충을 해결하며 모델 성능을 개선 NLU 할 수 있습니다.
요약 사용량
모델 내의 의도 수가 증가하면 두 의도의 범위가 겹칠 수 있습니다. 이는 교육 한 의도의 발화가 다른 의도의 발화와 거의 동일할 때 발생할 수 있습니다. 또한 모델 간, 심지어 애플리케이션 간에 상충하는 의도가 있을 수 있습니다.
발화는 의도를 예측해서는 안 된다는 것을 의미하는 관련 없음으로 표시될 수도 있습니다. 이러한 관련 없는 발화가 의도에 할당된 발화와 너무 유사한 경우 상충 검토에 표시됩니다. 자세한 내용은 NLU의 관련 없음 탐지 문서를 참조하십시오.
이러한 문제를 해결하고 해결하기 위해 교차 모델 상충 검토가 모델에 대한 분석을 실행합니다. 분석을 사용하여 모델 게시 및 배포 전에 이러한 문제를 식별하고 해결합니다.
설치
교차 모델 상충 검토는 에서 사용할 수 있는 NLU 워크벤치 - 고급 기능 앱의 일부입니다.ServiceNow® Store
교차 모델 상충 검토를 사용하려면 인스턴스에서 - Advanced Features(com.snc.nlu.workbench.advanced) 플러그인이 활성화되어 있는지 확인합니다 NLU 워크벤치 . 자세한 내용은 NLU 워크벤치 활성화를 참조하십시오NLU 워크벤치 설치 - 고급 기능.
역할
교차 모델 상충 검토에 액세스하려면 nlu_admin 또는 관리자 역할을 사용하십시오. 모델에 할당되면 nlu_editor는 해당 모델의 상충을 해결할 수 있습니다.
분석 실행
상충 검토 화면에는 인스턴스에서 생성된 모든 상충 검토의 목록 뷰가 표시됩니다. 검토가 완료되면 실행 중인 검토 목록에 추가됩니다. 이 예제 시나리오에서는 인스턴스에서 첫 번째 검토를 생성하므로 검토가 완료되면 개수에 1/1 검토로 표시됩니다. 시간이 지남에 따라 더 많은 충돌이 발생하면 목록에 여러 리뷰가 표시됩니다.
상충 검토는 하나 또는 두 NLU 개의 모델에서 분석됩니다. 단일 모델에 대한 분석을 실행하면 시스템은 해당 모델에만 있는 의도와 발언을 보여줍니다. 2개의 모델에 대한 분석을 실행하면 시스템은 두 모델에 있는 의도와 발언을 보여줍니다.
상충 검토는 항상 분석하는 모델의 마지막 교육 버전에서 실행됩니다.
상충 검토에는 중요 와 보통의 두 가지 유형이 있습니다. 표준 접근 방식은 중요한 것부터 시작하는 것입니다.
- 상충 무시
- 의도 중 하나에서 동일하거나 거의 동일한 발언을 삭제합니다.
- 발언을 편집하여 서로 더 구분되도록 합니다.
이 예시 시나리오에서는 서로 다른 두 의도에 정확히 동일한 발언이 포함된 상충을 해결하려고 합니다.
1. 다음으로 이동합니다. .
2. 분석 실행을 선택합니다.
3. 상충을 분석할 모델을 하나 또는 두 개 선택(Choose to analyze against conflicts) 화면의 모델 필드에서 분석을 위한 두 NLU 모델을 선택합니다. 이 예제 시나리오에서는 demo_hardware_issue 및 demo_it_request 모델을 선택합니다.
4. 분석 실행(Run Analysis)을 선택합니다.
상충 검토 화면이 새로 고침되어 분석을 위해 선택한 두 모델, 검토 중인 중요 및 보통 상충 수, 완료된 검토 수 및 분석 실행 날짜를 포함한 분석이 표시됩니다. 화면에서 맨 오른쪽 열을 가리키면 분석을 다시 실행하거나 삭제하고 처음부터 다시 시작할 수 있는 옵션이 표시됩니다.
5. 모델 열에서 쌍을 이루는 두 모델을 선택하여 검토로 드릴다운할 수 있습니다.
화면이 새로 고쳐지고 상충 검토의 세부 정보가 표시됩니다. 분석을 위해 선택한 두 모델의 요약, 해당 모델의 최신 교육 날짜, 모델에서 발생한 상충 유형 및 분석의 버전 타임스탬프를 기록해 둡니다. 또한 0/1 카운트는 이 인스턴스에서 생성된 첫 번째 상충 검토임을 나타냅니다. 시스템이 시간이 지남에 따라 더 많은 상충을 탐지하고 이러한 상충을 검토하면 개수가 증가합니다.
아래 이미지의 발언이 그대로 괜찮다고 판단하려면 무시를 클릭해야 합니다. 무시를 클릭하면 검토를 완료했음이 시스템에 알리므로 검토됨으로 표시되고 다음 상충 검토로 넘어갑니다. 그러나 이 시나리오에서는 동일한 발언을 공유하는 의도가 검토할 가치가 있는 충돌이므로 충돌을 무시하지 마십시오.
이 상충을 해결하는 방법을 결정하려면 2개의 의도 이름과 이들이 공유하는 동일한 발언을 고려하십시오. 어떤 의도가 노트북 을 사용할 가능성이 더 높은지 고려하십시오. 2개의 의도 이름을 자세히 비교하면 정말 느린 노트북이 작동하지 않는 노트북과 동일하지 않다는 것을 알 수 있습니다. 그러나 정말 느린 노트북은 실제로 노트북 문제입니다. 따라서 이 예제 시나리오에서는 의도를 더 깊이 파헤쳐 다른 발언의 컨텍스트를 스캔하기로 결정합니다.
또한 의도에서 고유한 발언을 사용하면 시스템에서 어떤 발언이 의도에 속하는지 보다 정확하게 예측하는 데 도움이 됩니다. 따라서 2개의 의도 중 1개의 의도에서 발언을 편집하거나 삭제해야 합니다. 이 예제 시나리오에서는 #laptop_not_working 의도를 자세히 살펴보기로 합니다.
6. laptop_not_working를 선택합니다.
현재 3개의 발언을 보여주는 #laptop_not_working 의도 화면이 나타납니다. 노트북을 삭제하기로 결정한 것은 #laptop_not_working 의도에서 정말 느린 발언입니다.
7. 이 발언 휴 지통 삭제 아이콘을 클릭합니다.
삭제 확인 화면이 나타납니다.
8. 삭제를 선택합니다.
삭제 확인 화면이 사라지고 랩톱을 삭제했기 때문에 발언 수가 3에서 2로 떨어집니다. 의도에서 발언이 정말 느립니다 .
9. 기차를 선택합니다.
모델이 성공적으로 학습되었음을 확인하는 배너가 의도 화면에 나타납니다.
10. 탐색기에서 상충 검토 를 선택합니다.
결과:
상충 검토 목록 화면이 나타나 상충 검토 분석이 완료되었으며 검토되었음을 보여줍니다.