NLU 모델 성능
모델 성능을 사용하여 NLU 모델이 최종 사용자 확인을 기반으로 VA(의도)를 가상 에이전트 얼마나 잘 예측했는지 확인합니다.
요약 사용량
모델 성능 애플리케이션은 NLU 모델이 VA 사용자의 발언을 통해 사용자의 의도를 얼마나 잘 NLU 예측하는지에 대한 분석 및 보고서를 제공합니다. VA 모델이 업데이트, 게시 및 배포될 때 NLU 모델 성능을 사용하여 NLU 의도 예측의 효과를 검토할 수 있습니다. 이러한 예측을 건너뛰면 모델에 대한 신뢰도 점수가 충분히 높은 의도를 예측할 수 없기 때문입니다. VA 주제 예측을 개선하기 위해 시스템에서는 지원되지 않는 VA 발언을 분석을 위해 클러스터로 그룹화한 다음 분석 결과를 식별하는 보고서를 생성합니다. 이 애플리케이션에 액세스하려면 nlu_admin 또는 관리자 역할을 사용하여 .
설치
NLU Model Performance는 에서 사용할 수 있는 애플리케이션입니다 ServiceNow® Store. 이 애플리케이션을 사용하려면 인스턴스에서 - 고급 기능(sn_nlu_workbench) 플러그인이 활성 상태인지 확인하십시오 NLU 워크벤치 . 자세한 내용은 NLU 워크벤치 활성화를 참조하십시오NLU 워크벤치 설치 - 고급 기능. NLU 모델 성능은 VA에서 들어오는 데이터에 의존하므로 Glide 가상 에이전트(com.glide.cs.chatbot) 플러그인도 활성 상태인지 확인합니다. 가상 에이전트 활성화의 내용을 참조하십시오.
NLU에 대한 ServiceNow 대화형 인터페이스 설정 구성
성능 추적 NLU 을 지원하려면 먼저 에서 CI(대화형 인터페이스) 설정을 가상 에이전트구성해야 합니다. 이러한 설정에 액세스하려면 가상 에이전트용 NLU 모델 성능 방문 페이지의 상단으로 이동하여 대화형 인터페이스 설정을 클릭합니다. 이 작업을 수행하면 아래 이미지와 같이 가상 에이전트의 CI 설정 페이지로 이동합니다.
설정을 구성하려면 virtual_agent_admin 또는 관리자 역할을 사용해야 합니다. 구성 지침은 가상 에이전트에서 NLU 구현 및 가상 에이전트 설정에서 NLU 언어 사용을 참조하십시오.
사용자 인터페이스(UI) 검토
- 성과 탭과 사용자가 VA와 상호 작용할 때 발생하는 시나리오를 설명하는 데이터를 보여주는 컬러 차트입니다. 이 차트는 각각 사용자 시나리오를 나타내는 세 가지 색의 음영으로 분할됩니다. 차트에서 텍스트와 백분율이 있는 행을 범례라고 합니다. 범례의 첫 번째 행에 있는 세 가지 시나리오의 두 번째 행에는 그 아래에 두 개의 결과 시나리오가 있습니다. 범례 아래에 있는 막대는 위에 있는 시나리오의 색상에 해당합니다. 이러한 막대의 크기는 각 시나리오의 백분율 값에 따라 달라집니다.
- 예를 들어 진한 파란색 막대는 이 VA 사용자 배치의 10%가 시스템에서 VA 챗봇 대화에 사용할 올바른 주제를 제공했음을 확인했으며 사용자의 58%(진한 빨간색 막대로 표시)가 제시된 주제가 올바르지 않음을 확인했음을 보여줍니다. 이 두 시나리오 사이에는 사용자의 32%(진한 갈색 막대로 표시)가 전혀 확인하지 않았음을 보여 주는 시나리오가 있습니다.
- 언제든지 모든 막대 표시 필터를 앞뒤로 전환하여 차트에서 색이 지정된 막대 및 관련 시나리오를 보거나 숨기는 것이 좋습니다. 또한 NLU 모델 성능에 처음 액세스하면 차트의 기본 뷰에 시나리오의 첫 번째 행과 막대의 첫 번째 행만 표시됩니다.
- 보고 있는 시나리오에 따라 볼 수 있는 다른 보기도 있습니다. 예를 들어 NLU 모델 성능에 처음 액세스할 때 범례의 첫 번째 행에 있는 시나리오를 클릭하면 시스템에서 다른 두 시나리오의 막대를 숨깁니다. 이렇게 하면 초점을 맞추고 있는 시나리오를 나머지 시나리오와 부분적으로 격리하기 때문에 UI를 덜 깔끔하게 유지하는 데 도움이 됩니다. 이러한 작업은 데이터를 변경하지 않으며 차트 내의 범례와 막대에 대한 다른 보기를 표시할 뿐입니다.
- 지원되지 않는 발화 탭에는 성능 분석에 사용하기 위해 클러스터로 그룹화된 발화가 표시됩니다. UI의 이 섹션은 전문가 피드백 루프 애플리케이션으로 이동하고 돌아올 수 있으며 분석을 실행할 수 있는 섹션입니다.
지원되지 않는 발화는 관련 없는 발화와 다릅니다. 자세한 내용은 NLU에서 관련 없음 탐지 문서를 참조하십시오.
- 막대형 차트 아래에 있는 성능 세부 정보 섹션입니다. 이 섹션에는 발화, 예측 의도, 예측 모델 및 예측 결과의 네 가지 열이 있습니다. 이 섹션에 표시된 상세 정보는 범례 데이터 및 그 위에 있는 막대 데이터와 상호 작용합니다.
VA 사용자 시나리오 검토
UI의 범례 섹션에서 텍스트와 백분율은 정보 아이콘과 함께 표시됩니다. 아이콘을 가리키면 사용자 시나리오에 대한 정의가 호출됩니다. 정의를 보려면 아래 테이블을 참조하십시오.
| 시나리오 | 정의 |
|---|---|
| 사용자가 올바름으로 확인됨 | 최종 사용자에게 올바른 주제가 표시되었고 최종 사용자가 올바른지 확인했습니다. |
| 주제가 시작되었습니다. 사용자가 올바른 것으로 확인됨 | 주제가 시작되었고 사용자가 필요한 주제임을 확인했습니다. |
| 주제 메뉴가 표시됨, 사용자가 하나 선택함 | 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 필요한 문제를 해결하기 위해 주제 중 하나를 선택했습니다. |
| 사용자가 확인하지 않음 | 주제가 시작되었지만 사용자는 해당 주제가 자신의 필요를 충족하는지 확인하지 못했습니다. |
| 예측 없음, 대체 주제 시작 | 예측이 없었고 대체 주제가 시작되었습니다. |
| 주제 시작됨, 사용자 확인 없음 | 주제가 시작되었지만 사용자가 주제가 올바른지 확인하지 않았습니다. |
| 사용자가 올바르지 않음으로 확인됨 | 제시된 주제가 최종 사용자의 요구를 다루지 않았으며 사용자가 올바르지 않음을 확인했습니다. |
| 주제가 시작되었습니다. 사용자가 올바르지 않음으로 확인됨 | 주제가 시작되었고 사용자가 올바르지 않다는 것을 확인했습니다. |
| 주제 메뉴가 표시됨, 사용자가 선택하지 않음 | 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 관련된 주제가 없다고 판단했으며 주제를 선택하지 않았습니다. |
언어 및 모델 필터 사용
성능 탭에서 언어 및 모델 필터를 볼 수 있습니다. 그 옆에는 차트의 범례와 막대 위에 설정한 가장 최근의 날짜 범위 값도 볼 수 있습니다. 언어 필터를 클릭하면 에서 사용할 수 있는 모든 언어를 볼 수 NLU있습니다. 모델 필터를 클릭하여 인스턴스에서 사용할 수 있는 모든 예측 모델을 확인합니다. 언어 필터의 기본 설정은 모든 언어이고 모델 필터의 기본 설정은 모든 모델입니다.
언어 및 모델 필터는 서로 상호 작용합니다. 예를 들어 [언어] 필터에서 [French-fr]을 선택하면 다음 이미지와 같이 [Model] 필터에 프랑스어를 사용하는 인스턴스의 모든 예측 모델이 자동으로 표시됩니다.
- 모델 필터에서 특정 모델을 선택하면 언어 필터 값이 업데이트되어 선택한 모델의 언어가 표시됩니다.
- 언어 필터에서 특정 언어를 선택하면 모델 필터에는 선택한 언어의 모델만 표시됩니다.
날짜 범위 설정
성능 탭에서 날짜 범위를 사용하여 시스템에서 VA 데이터를 가져올 위치를 정의합니다. 지난 30일, 지난 60일, 지난 90일 또는 사용자 지정 범위를 선택합니다. 날짜 범위에서 더 뒤로 갈수록 분석에 더 많은 데이터가 있습니다.
분석 실행
성능 분석을 실행하려면 지원되지 않는 발화 탭을 클릭합니다. UI의 이 섹션에는 주제 예측을 하지 않았거나 VA 최종 사용자가 예측된 주제가 잘못되었음을 확인한 VA 발언 NLU 이 포함된 확장 가능한 클러스터의 행이 표시됩니다. 다음으로 할 일은 전문가 피드백 루프를 클릭하는 것입니다. 이 작업을 수행하면 VA에서 끌어온 발언을 검토하고 피드백을 제공하는 NLU 전문가 피드백 루프 애플리케이션으로 이동합니다.
전문가 피드백 루프 애플리케이션에서 나와 NLU 모델 성능으로 돌아오면 클러스터에서 캐럿 아이콘을 클릭하여 엽니다. 그러면 클러스터 내에서 다음 이미지와 같이 가장 대표적인 상위 VA 발언을 볼 수 있습니다.
분석 실행 또는 해석 재실행 중 사용 가능한 것을 클릭합니다. 분석을 실행할 때마다 시스템은 가장 최근의 VA 발언을 분석으로 끌어옵니다.