NLU 모델 성능

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 02월 01일
  • 읽기7분

    • 모델 성능을 사용하여 NLU 모델이 최종 사용자 확인을 기반으로 (VA)에서 가상 에이전트 의도를 얼마나 잘 예측했는지 확인합니다.

    요약 사용량

    Model Performance 애플리케이션은 NLU 모델이 발언에서 VA 사용자의 의도를 얼마나 잘 NLU 예측하는지에 대한 분석 및 보고서를 제공합니다. VA 모델이 업데이트, 게시 및 배포될 때 NLU 모델 성능을 사용하여 NLU 모델이 수행하는 의도 예측의 효과를 검토할 수 있습니다. 이러한 예측을 건너뛰면 모델에 대한 신뢰도 점수가 충분히 높은 의도를 예측할 수 없기 때문입니다. VA 주제 예측을 개선하기 위해 시스템은 지원되지 않는 VA 발언을 분석을 위한 클러스터로 그룹화한 다음 분석 결과를 식별하는 보고서를 생성합니다. 이 애플리케이션에 접근하려면 nlu_admin 또는 관리자 역할을 사용하여 모두 > NLU 워크벤치 > 성과레이블이 표시됩니다.

    주:
    모델 성능을 사용하려면 NLU 먼저 인스턴스에 5,000개 이상의 VA 발언이 있어야 합니다. nlu_admin 역할을 사용하면 속성을 다시 설정하여 sn_nlu_workbench.glide.nlu.performance.min_clustering_records 이 제한을 수정할 수 있습니다.

    설치

    NLU Model Performance는 에서 사용할 수 있는 애플리케이션입니다 ServiceNow® Store. 이 애플리케이션을 사용하려면 인스턴스에서 - 고급 기능(sn_nlu_workbench) 플러그인이 활성화되어 있는지 확인하십시오 NLU 워크벤치 . 자세한 내용은 NLU 워크벤치 활성화를 참조하십시오NLU 워크벤치 - 고급 기능 설치. NLU 모델 성능은 VA에서 들어오는 데이터에 의존하므로 Glide Virtual Agent(com.glide.cs.chatbot) 플러그인도 활성 상태인지 확인합니다. Virtual Agent 활성화를 참조하십시오.

    NLU에 대한 ServiceNow 대화형 인터페이스 설정 구성

    성능을 추적 NLU 하려면 먼저 에서 CI(대화형 인터페이스) 설정을 가상 에이전트구성해야 합니다. 이러한 설정에 액세스하려면 NLU Model Performance for Virtual Agent 랜딩 페이지의 상단으로 이동하여 대화형 인터페이스 설정을 클릭합니다. 이 작업을 수행하면 아래 이미지와 같이 Virtual Agent의 CI 설정 페이지로 이동합니다.

    대화형 인터페이스 설정 지정

    설정을 구성하려면 virtual_agent_admin 또는 관리자 역할을 사용해야 합니다. 구성 지침은 가상 에이전트에서 NLU 구현 및 가상 에이전트 설정에서 NLU 언어 사용을 참조하십시오.

    사용자 인터페이스(UI) 검토

    NLU 모델 성능 UI는 아래 나열된 부분으로 구성되며, NLU 모델 성능 기본 방문 페이지를 보여주는 다음 이미지에서 강조 표시되어 있습니다.
      • 성과 탭과 사용자가 VA와 상호 작용할 때 발생하는 시나리오를 설명하는 데이터를 보여주는 컬러 차트입니다. 이 차트는 각각 사용자 시나리오를 나타내는 세 가지 색으로 분할됩니다. 차트에서 텍스트와 백분율이 있는 행을 범례라고 합니다. 범례의 첫 번째 행에 있는 세 개의 시나리오에는 두 번째 행의 그 아래에 두 개의 결과 시나리오가 있습니다. 범례 아래에 있는 막대는 위에 있는 시나리오의 색상에 해당합니다. 이러한 막대의 크기는 각 시나리오의 백분율 값에 따라 다양합니다.
      • 예를 들어 진한 파란색 막대는 이 VA 사용자 배치의 10%가 시스템에서 VA 챗봇 대화에 사용할 올바른 주제를 제시했음을 확인했으며 58%의 사용자(진한 빨간색 막대로 표시)는 제시된 주제가 올바르지 않음을 확인했다는 것을 보여줍니다. 이 두 시나리오 사이에는 사용자의 32%(짙은 갈색 막대로 표시)가 전혀 확인하지 않았음을 보여주는 시나리오가 있습니다.
      • 언제든지 모든 막대 표시 필터를 앞뒤로 전환하여 차트에서 색이 지정된 막대 및 관련 시나리오를 보거나 숨기는 것이 좋습니다. NLU 모델 성능에 처음 액세스하면 차트의 기본 뷰에는 시나리오의 첫 번째 행과 막대의 첫 번째 행만 표시됩니다.
      • 보고 있는 시나리오에 따라 볼 수 있는 다른 보기도 있습니다. 예를 들어, NLU 모델 성능에 처음 액세스하여 범례의 첫 번째 행에 있는 시나리오를 클릭하면 다른 두 시나리오의 막대가 숨겨집니다. 이렇게 하면 집중하고 있는 시나리오를 나머지 시나리오와 부분적으로 격리하기 때문에 UI를 덜 깔끔하게 유지하는 데 도움이 됩니다. 이러한 작업은 데이터를 변경하지 않으며 차트 내의 범례와 막대에 대한 다른 보기를 표시할 뿐입니다.
    • 지원되지 않는 발화 탭에는 성능 분석에 사용하기 위해 클러스터로 그룹화된 발화가 표시됩니다. UI의 이 섹션은 전문가 피드백 루프 애플리케이션으로 이동하거나 이 애플리케이션에서 돌아올 수 있는 위치이며, 분석을 실행할 수 있는 위치이기도 합니다.

      지원되지 않는 발화는 관련 없는 발화와 다릅니다. 자세한 내용은 NLU에서 관련 없음 탐지 문서를 참조하십시오.

    • 막대형 차트 아래에 있는 성과 세부 정보 섹션입니다. 이 섹션에는 발화, 예측된 의도, 예측 모델 및 예측 결과의 네 개의 열이 있습니다. 이 섹션에 표시된 상세 정보는 범례 데이터 및 그 위에 있는 막대 데이터와 상호 작용합니다.

    NLU 모델 성능

    VA 사용자 시나리오 검토

    UI의 범례 섹션에서 텍스트와 백분율은 정보 아이콘과 함께 표시됩니다. 아이콘을 가리키면 사용자 시나리오에 대한 정의가 호출됩니다. 정의를 보려면 아래 테이블을 참조하십시오.

    표 1. 시나리오 정의
    시나리오 정의
    사용자가 올바름으로 확인됨 최종 사용자에게 올바른 주제가 표시되었고 최종 사용자가 올바른지 확인했습니다.
    주제가 시작되었습니다. 사용자가 올바른 것으로 확인됨 주제가 시작되었고 사용자가 필요한 주제임을 확인했습니다.
    주제 메뉴가 표시됨, 사용자가 하나 선택함 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 필요한 문제를 해결하기 위해 주제 중 하나를 선택했습니다.
    사용자가 확인하지 않음 주제가 시작되었지만 사용자는 해당 주제가 자신의 필요를 충족하는지 확인하지 못했습니다.
    예측 없음, 대체 주제 시작 예측이 없었고 대체 주제가 시작되었습니다.
    주제 시작됨, 사용자 확인 없음 주제가 시작되었지만 사용자가 주제가 올바른지 확인하지 않았습니다.
    사용자가 올바르지 않음으로 확인됨 제시된 주제가 최종 사용자의 요구를 다루지 않았으며 사용자가 올바르지 않음을 확인했습니다.
    주제가 시작되었습니다. 사용자가 올바르지 않음으로 확인됨 주제가 시작되었고 사용자가 올바르지 않다는 것을 확인했습니다.
    주제 메뉴가 표시됨, 사용자가 선택하지 않음 여러 주제가 사용자에게 메뉴로 표시되었고 사용자는 관련된 주제가 없다고 판단했으며 주제를 선택하지 않았습니다.

    언어 및 모델 필터 사용

    성능 탭에서 언어 및 모델 필터를 볼 수 있습니다. 그 옆에는 차트의 범례와 막대 위에 설정한 가장 최근의 기간 값도 볼 수 있습니다. 에서 사용할 수 NLU있는 모든 언어를 보려면 [언어] 필터를 클릭합니다. 모델 필터를 클릭하여 인스턴스에서 사용할 수 있는 모든 예측 모델을 봅니다. 언어 필터의 기본 설정은 모든 언어이고 모델 필터의 기본 설정은 모든 모델입니다.

    언어 및 모델 필터는 서로 상호 작용합니다. 예를 들어 [언어] 필터에서 [French-fr]을 선택하면 다음 이미지와 같이 [Model] 필터에 프랑스어를 사용하는 인스턴스의 모든 예측 모델이 자동으로 표시됩니다. 언어 및 모델 필터는 서로 상호 작용합니다.

    다른 상호 작용이 있습니다. 예를 들어 NLU 모델 성능 방문 페이지의 기본 뷰에서 다음을 수행합니다.
    • 모델 필터에서 특정 모델을 선택하면 언어 필터 값이 업데이트되어 선택한 모델의 언어가 표시됩니다.
    • 언어 필터에서 특정 언어를 선택하면 모델 필터에는 선택한 언어의 모델만 표시됩니다.
    언어 및 모델 필터 아래에서 번역된 대화 포함 전환을 볼 수 있습니다. 동적 언어 번역을 사용하여 기본 언어로 번역된 VA 대화의 성능을 포함하려면 스위치를 오른쪽으로 전환하여 색상이 회색에서 녹색으로 변경되도록 합니다. 이렇게 하면 차트 범례의 막대 위치와 색상도 변경될 수 있습니다. 대화형 인터페이스 설정에서 동적 언어 번역을 관리할 수 있습니다.

    날짜 범위 설정

    성능 탭에서 날짜 범위를 사용하여 시스템에서 VA 데이터를 끌어올 거리를 정의합니다. 지난 30일, 지난 60일, 지난 90일 또는 사용자 지정 범위를 선택합니다. 날짜 범위에서 더 뒤로 갈수록 분석에 더 많은 데이터가 포함됩니다.

    보고서에서 90일 이상 이전으로 거슬러 올라가는 데이터를 포함하려면 맞춤 범위를 사용하세요.

    분석 실행

    성능 분석을 실행하려면 지원되지 않는 발언 탭을 클릭합니다. UI의 이 섹션에는 주제 예측을 수행하지 않았거나 VA 최종 사용자가 예측된 주제가 잘못되었음을 확인한 VA 발화가 NLU 포함된 확장 가능한 클러스터의 행이 표시됩니다. 다음으로 할 일은 전문가 피드백 루프를 클릭하는 것입니다. 이 작업을 수행하면 VA에서 가져온 발언을 검토하고 피드백을 제공하는 NLU 전문가 피드백 루프 애플리케이션으로 이동합니다.

    그림 1. 지원되지 않는 발언 검토
    전문가 피드백 루프로 이동하여 NLU 모델 성능으로 돌아가기

    전문가 피드백 루프 애플리케이션에서 나와 NLU 모델 성능으로 돌아가면 클러스터에서 캐럿 아이콘을 클릭하여 엽니다. 그러면 클러스터 내에서 다음 이미지와 같이 가장 대표적인 상위 VA 발언을 볼 수 있습니다.

    그림 2. 클러스터에서 상위 대표 발언 검토
    발화 클러스터를 열어 그 안에 있는 VA 발화를 볼 수 있습니다.

    분석 실행 또는 분석 재실행 중 사용 가능한 것을 클릭합니다. 분석을 실행할 때마다 시스템은 가장 최근의 VA 발언을 분석으로 끌어옵니다.