교차 모델 상충 검토

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 02월 01일
  • 읽기4분
  • 모델 내에서 또는 모델 간에 상충하는 의도를 식별하여 수정 작업을 수행하고, 이러한 상충을 해결하고, 모델 성능을 개선할 수 있습니다 NLU .

    요약 사용량

    모델 내의 의도 수가 증가하면 두 의도의 범위가 겹칠 수 있습니다. 이는 한 의도의 학습 발언이 다른 의도의 발언과 거의 동일한 경우에 발생할 수 있습니다. 또한 모델과 애플리케이션 간에 상충하는 의도가 있을 수 있습니다.

    발화는 관련 없음으로 표시될 수도 있으며, 이는 의도를 예측해서는 안 됨을 의미합니다. 이러한 관련 없는 발화가 의도에 할당된 발화와 너무 유사하면 상충 검토에 표시됩니다. 자세한 내용은 NLU에서 관련 없음 탐지 문서를 참조하십시오.

    이러한 문제를 해결하기 위해 교차 모델 충돌 검토는 모델에 대한 분석을 실행합니다. 분석을 사용하여 모델 게시 및 배포 전에 이러한 문제를 식별하고 해결합니다.

    설치

    교차 모델 상충 검토는 에서 ServiceNow® Store사용할 수 있는 NLU 워크벤치 - 고급 기능 앱의 일부입니다.

    교차 모델 상충 검토를 사용하려면 인스턴스에서 - Advanced Features(com.snc.nlu.workbench.advanced) 플러그인이 활성화되어 있는지 확인합니다 NLU 워크벤치 . 자세한 내용은 NLU 워크벤치 활성화를 참조하십시오NLU 워크벤치 - 고급 기능 설치.

    역할

    교차 모델 상충 검토에 액세스하려면 nlu_admin 또는 관리자 역할을 사용합니다. 모델에 할당되면 nlu_editor 해당 모델의 충돌을 해결할 수 있습니다.

    해석 실행

    상충 검토 화면에는 인스턴스에서 만든 모든 상충 검토의 목록 뷰가 표시됩니다. 검토가 완료되면 실행 중인 검토 목록에 추가됩니다. 이 예제 시나리오에서는 인스턴스에서 첫 번째 검토를 생성하므로 완료되면 개수에 1/1 리뷰로 표시됩니다. 시간이 지남에 따라 더 많은 충돌이 발생하면 목록에 여러 리뷰가 표시됩니다.

    상충 검토는 하나 또는 두 NLU 개의 모델에서 분석됩니다. 단일 모델에 대한 분석을 실행하면 시스템은 해당 모델에만 있는 의도와 발언을 표시합니다. 2개 모델에 대한 분석을 실행하면 시스템에 두 모델에 모두 있는 의도와 발언이 표시됩니다.

    상충 검토는 항상 분석하는 모델의 마지막 교육 버전에서 실행됩니다.

    상충 검토에는 중요와보통의 두 가지 유형이 있습니다. 표준 접근 방식은 중요한 것부터 시작하는 것입니다.

    충돌이 감지되면 다음 작업 중 하나를 사용하여 충돌을 해결할 수 있습니다.
    • 상충 무시
    • 의도 중 하나에서 동일하거나 거의 동일한 발언을 삭제
    • 발언을 편집하여 서로 더 구분되도록 합니다.

    이 예제 시나리오에서는 두 개의 서로 다른 의도에 정확히 동일한 발언이 포함된 충돌을 해결합니다.

    1. 다음으로 이동합니다. 모두 > NLU 워크벤치 > NLU 고급 기능 > 교차 모델 상충 검토레이블이 표시됩니다.

    2. 분석 실행(Run analysis)을 선택합니다.

    3. 충돌을 분석할 모델 하나 또는 두 개 선택 화면의 모델 필드에서 분석할 모델 두 개를 NLU 선택합니다. 이 예제 시나리오에서는 모델을 demo_hardware_issuedemo_it_request 선택합니다.

    4. 분석 실행(Run Analysis)을 선택합니다.

    그림 1. 상충 분석 실행
    하나 또는 두 개의 충돌 분석 모델을 선택한 다음 분석 실행 버튼을 클릭할 수 있습니다

    상충 검토 화면이 새로 고쳐지면서 분석을 위해 선택한 두 모델, 검토 중인 중요 및 보통 상충 수, 완료된 검토 수, 분석 실행 날짜 등이 포함된 분석이 표시됩니다. 화면의 맨 오른쪽 열을 가리키면 해석을 다시 실행하거나 삭제하고 처음부터 다시 시작할 수 있는 옵션이 표시됩니다.

    5. 모델( 들)(Model(s) ) 열에서 쌍을 이루는 두 모델을 선택하여 검토를 드릴다운할 수 있습니다.

    그림 2. 상충 검토
    상충 검토

    상충 검토의 상세 정보가 표시되기 위해 화면이 새로 고쳐집니다. 분석을 위해 선택한 두 모델의 요약, 최신 교육 날짜, 해당 모델이 보유한 충돌 유형 및 분석의 버전 타임스탬프를 확인합니다. 또한 0/1 카운트는 이 인스턴스에서 생성된 첫 번째 충돌 검토임을 나타냅니다. 시스템에서 시간이 지남에 따라 더 많은 상충을 탐지하고 해당 상충을 검토하면 개수가 증가합니다.

    아래 이미지의 발화가 그대로 괜찮다고 판단하려면 무시를 클릭해야 합니다. 무시를 클릭하면 검토가 완료되었음을 시스템에 알리므로 검토됨으로 표시되고 다음 상충 검토로 넘어갑니다. 그러나 이 시나리오에서는 동일한 발언을 공유하는 의도가 검토할 가치가 있는 상충이므로 상충을 무시하지 않습니다.

    그림 3. 상충 정보 검토 중
    상충 검토는 검토할 가치가 있는 상충인 동일한 발언을 사용하는 두 의도의 경우 자세히 설명합니다.

    이 충돌을 해결하는 방법을 결정하려면 2개의 의도 이름과 공유하는 동일한 발화를 고려합니다. 어떤 의도가 노트북을 사용할 가능성이 더 높은지 고려 하면 정말 느린 발화입니다. 2개의 의도 이름을 자세히 비교하면 정말 느린 노트북이 작동하지 않는 노트북과 같지 않다는 것을 알 수 있습니다. 그러나 정말 느린 노트북은 실제로 노트북 문제입니다. 따라서 이 예제 시나리오에서는 다른 발화의 컨텍스트를 스캔하기 위해 의도를 더 깊이 파고들기로 결정합니다.

    또한 의도에서 고유한 발언을 사용하면 시스템에서 어떤 발언이 의도에 속하는지 보다 정확하게 예측할 수 있습니다. 따라서 2개 의도 중 1개에서 발언을 편집하거나 삭제해야 합니다. 이 예제 시나리오에서는 #laptop_not_working 의도를 자세히 살펴보기로 결정합니다.

    6. laptop_not_working 선택합니다.

    그림 4. 중복된 발언 검토
    의도를 열어 그 안의 발언을 검토할 수 있습니다. 이렇게 하면 편집, 삭제 또는 무시할 발언을 결정하는 데 도움이 됩니다

    현재 3개의 발화를 보여주는 #laptop_not_working 의도 화면이 나타납니다. 노트북을 삭제하기로 결정한 것은 #laptop_not_working 의도에서 정말 느린 발화입니다.

    그림 5. 대상 발언 검토 중
    대상 발언을 편집, 삭제 또는 무시해야 하는지 여부를 고려할 수 있습니다

    7. 이 발언 휴지통 삭제 아이콘을 클릭합니다.

    그림 6. 상충 해결
    발화가 이미 다른 의도에서 사용되고 있기 때문에 이 의도에서 발언을 삭제하기로 한 사용자 결정; 이 작업을 수행하면 상충이 해결됩니다.

    삭제 확인 화면이 나타납니다.

    8. [삭제]를 선택합니다.

    그림 7. 상충 삭제
    사용자가 발언 삭제 결정을 확인할 수 있는 확인 화면

    삭제 확인 화면이 사라지고 노트북을 삭제했기 때문에 발화 수가 3에서 2로 떨어집니다. 의도에서 발화가 정말 느립니다 .

    그림 8. 발언 삭제 확인
    발언을 삭제했기 때문에 발언 수가 3에서 2로 떨어졌음을 보여줍니다.

    9. 학습을 선택합니다.

    모델이 성공적으로 학습되었음을 확인하는 배너가 의도 화면에 나타납니다.

    10. 탐색기에서 상충 검토를 선택합니다.

    그림 9. 모델 교육 성공 여부 확인
    모델이 성공적으로 학습되었음을 보여주고 사용자에게 초기 상충 검토 화면으로 다시 이동하도록 지시하는 확인 메시지

    결과:

    상충 검토 목록 화면이 나타나 상충 검토 분석이 완료되었고 검토되었음을 보여 줍니다.

    그림 10. 상충이 검토되었다는 확인
    사용자의 충돌이 검토되었음을 보여 주는 확인 메시지가 표시되며, 최종 충돌 검토 화면에도 이와 같이 표시됩니다