LLM 주제 테스트

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 02월 01일
  • 읽기6분

    • 채팅 창에서 대규모 언어 모델(LLM)을 사용하는 주제를 미리 보고, 테스트하고, 디버그합니다 가상 에이전트 디자이너 .

    작업하는 동안 채팅 테스트 창에서 대화를 실행하여 주제의 기능을 테스트할 수 있습니다. 웹(서비스 포털) 채팅 클라이언트는 기본 테스트 창입니다.

    대규모 언어 모델(LLM) 주제는 (NLU) 주제에 비해 자연어 이해 테스트가 더 빠르고 쉽습니다. 예를 들어 주제와 마찬가지로 NLU 발화를 업데이트하고 모델을 다시 학습한 후에는 주제를 다시 테스트할 필요가 없습니다.

    외부 공급업체 메시징 앱과 Virtual Agent 통합을 사용하는 경우 대화의 요소가 외부 공급업체 메시징 애플리케이션에서 다르게 나타날 수 있습니다. 배포 가상 에이전트하려는 타사 응용 프로그램에서 대화를 테스트합니다.

    주:
    Now Assist 패널 Microsoft Teams또는 Slack 응용 프로그램이 사용자 환경에 맞게 구성된 경우 해당 채널에 대한 미리 보기 옵션이 [테스트] 단추 목록에 표시됩니다. 목록에서 Now Assist 패널에서 미리 보기, Microsoft Teams에서 미리 보기 또는 Slack에서 미리 보기를 선택하여 해당 환경에서 주제를 테스트합니다.

    채팅 테스트 창에서 LLM 주제 테스트하기

    그림 1. LLM 테스트 옵션
    LLM 테스트 옵션은 가상 에이전트 디자이너 캔버스와 주제 페이지에서 확인할 수 있습니다.
    주제 헤더 표시줄에서 Now Assist에서 테스트 또는 Now Assist 패널에서 미리 보기 옵션을 선택하여 캔버스에서 가상 에이전트 디자이너 LLM 주제를 테스트합니다.
    주:
    주제에 필요한 자료가 누락된 경우 플로우 다이어그램 창 모서리에 불완전한 배지가 나타납니다. 노란색 또는 빨간색 경고 배지도 각 노드 옆에 나타납니다. 불완전한 배지에는 총 문제 수가 나열되고 로컬 경고 배지에는 각 노드에서 발견된 문제 수가 표시됩니다. 문제가 있을 때 테스트를 선택하면 각 문제의 세부 정보와 함께 존재하는 문제 수가 포함된 문제 창이 열립니다. 이러한 상세 정보에는 전체 설명과 불완전한 각 항목에 대한 하이퍼링크가 포함됩니다.

    또는 주제(Topics) 페이지에서 활성(게시된) LLM 주제를 테스트할 수 있습니다. LLM 어시스턴트 필터를 사용하여 주제를 어시스턴트와 연결된 주제로만 제한한 다음 Test active topics(활성 주제 테스트)를 선택합니다. LLM 어시스턴트 필터를 사용하지 않는 경우 [Test LLM topics]를 선택합니다 Test active topics(활성 주제 테스트) 드롭다운 메뉴에서 LLM 어시스턴트와 연결된 주제를 테스트합니다. LLM 도우미에 대한 자세한 내용은 을 참조하십시오 LLM 도우미.

    웹 클라이언트에서 채팅 테스트 창이 열리고 테스트 시 주제에 대한 세부 정보를 제공하는 인접 탭이 표시됩니다. LLM 주제를 테스트할 때 다음 탭을 사용할 수 있습니다.

    • 테스트 구문 분석 - 입력을 기반으로 하는 주제 검색의 결과입니다.
    • 프롬프트 검색 - LLM으로 전송되는 주제의 모든 프롬프트 목록입니다.
    • 변수 - 입력 및 Live Agent 변수와 같이 대화에 사용되는 모든 변수의 목록입니다.
    • 변수 편집 - 이 항목에 사용되는 변수를 편집하기 위한 옵션입니다.
    • 컨텍스트 - 주제가 실행되는 컨텍스트(컨텍스트 변수 사용)를 지정하는 옵션입니다.
    • 로그 - 수행된 처리의 목록입니다.
    그림 2. LLM 테스트 채팅 테스트 창 및 테스트 탭 예
    테스트 중인 LLM 주제의 유형에 따라 다른 탭이 나타납니다.
    캔버스에서 관련 주제 유형을 테스트할 때 다음 탭이 가상 에이전트 디자이너 나타납니다.
    • 모든 LLM 주제 유형에 대해 [Analyze test phrases], [Prompt discovery], [Variables] 및 [Logs ] 탭이 나타납니다.
    • 변수 편집 탭은 주제 블록 및 사용자 지정 통제에 대해 표시됩니다.
    • 주제 검색 포함을 선택하면 주제, 설정 주제 또는 간단한 대화 주제에 대한 컨텍스트 탭이 나타납니다.

    주제 페이지에서 테스트를 실행하는 경우 테스트 창에는 테스트 구문 분석, 변수, 컨텍스트 ( 기본적으로 사용 가능, 주제 검색 포함 옵션 없음) 및 로그 탭만 표시됩니다.

    테스트 구 분석 탭

    LLM이 활성화된 주제를 테스트할 때 입력에 따라 주제 검색에 대한 결과가 나타납니다. 테스트 구를 입력하면 입력 기술 및 출력 기술을 포함하여 기술 검색에 대한 주제 결과가 표시됩니다. 최종 주제 검색 출력에는 입력한 내용과 비교하여 선택한 주제의 정확도를 설명하는 등급이 포함됩니다.

    그림 3. LLM 주제에 대한 테스트 구문 분석 탭의 예
    각각 입력 기술 및 출력 기술 범주가 있는 기술 검색에 대한 테스트 구문 결과를 보여주는 테스트 구 분석 탭입니다.

    기술 검색 입력 기술은 에서 검색 Now LLM하는 LLM 주제입니다. 기술 검색 출력 기술은 제시될 가능성이 가장 높은 테스트 Now LLM 구를 보여줍니다. 출력 기술 막대에 Sure, Unsure 또는 Unknown의 신뢰도 결과가 표시됩니다. 출력 기술 아래에 사용된 주제에는 점수와 함께 일치여부에 대한 부울이 표시됩니다. 기술 또는 주제에 따라 변수와 값이 나열될 수도 있습니다(예: 변수 @laptop_make 및 값 macbook).

    출력 기술 막대에 좋지 않은 결과가 표시되면 주제에 대한 설명과 주제 노드의 지침을 조정하여 결과를 개선할 수 있습니다.

    또한 주제 페이지에서 활성 LLM 도우미 주제를 테스트할 때 입력 기술 및 출력 기술을 포함하여 시맨틱 검색에 대한 기술 결과를 볼 수 있습니다. 의미 체계 검색은 검색어의 의미와 컨텍스트를 분석하고 해당 정보를 사용하여 유사한 의미를 가진 결과를 찾습니다. 검색 의도를 보다 정확하게 반영하도록 자연어를 해석하여 검색 상기를 개선합니다. 주제 검색 테스트를 위해 시맨틱 검색을 비활성화하면 해당 결과가 표시되지 않습니다. 시맨틱 검색에 대한 자세한 내용은 을 참조하십시오 Semantic vector search in AI Search.

    프롬프트 검색 탭

    주제에 LLM으로 전송되는 프롬프트가 포함되어 있는 경우 주제와 노드의 두 가지 범주로 표시됩니다. 주제 범주에는 주제 자체의 이름과 설명이 있습니다. 노드(Nodes) 카테고리에는 캔버스의 LLM 지원 사용자 입력 노드, 해당 필드 이름 및 유형, 해당 콘텐츠가 나열됩니다.

    프롬프트의 컨텐츠와 함께 주제 설명을 수정하여 대화에 가장 적합한 프롬프트를 개발할 수 있습니다. 각 프롬프트의 상태는 원래 프롬프트에서 시작됩니다. 프롬프트의 내용을 변경하면 프롬프트 상태가 수정 됨으로 변경되고 그 옆에 되돌리기 아이콘( 되돌리기 아이콘. )이 나타납니다. 수정된 프롬프트의 총 개수는 주제에 저장 버튼 옆에 있는 탭 하단에 나열됩니다. 수정된 프롬프트를 테스트하려면 적용 및 다시 시작을 선택합니다. 프롬프트에 대한 변경 사항을 실행 취소하려면 프롬프트 옆에 있는 되돌리기 아이콘을 선택합니다. 또는 프롬프트를 수정할 때 활성화되는 되돌리기를 선택하여 모든 변경 사항을 취소합니다.
    주:
    주제에 저장을 선택하면 모든 변경 사항이 저장되고 모든 수정된 프롬프트 메시지가 원래 프롬프트로 재설정됩니다.
    그림 4. 프롬프트 검색 탭 예
    주제 및 노드 범주를 보여주는 프롬프트 검색 탭입니다.
    그림 5. 수정된 프롬프트 검색 탭의 예
    수정된 프롬프트 및 주제에 저장 업데이트가 있는 프롬프트 검색 탭. 변경 시 되돌리기, 적용 및 다시 시작 옵션이 활성화됩니다.

    변수 탭

    변수 탭에는 대화에 사용된 모든 변수 목록과 대화가 진행됨에 따라 캡처된 관련 값이 표시되므로 대화를 따라 할 수 있습니다. 대화에는 다음과 같은 변수 유형이 있을 수 있습니다.
    • 입력 변수
    • 스크립트 변수
    • Live Agent 변수
    • 호출 주제와 주제 블록 간에 전달되는 변수
    목록은 변수 유형별로 섹션으로 구분됩니다. 다음 예제에서는 입력 변수 섹션을 보여 줍니다. 정적 목록 컨트롤의 경우 선택한 선택 항목에 대해 표시 레이블과 값이 모두 캡처됩니다.
    그림 6. 입력 변수 목록 예시
    대화 플로우의 화면 캡처 옆에 입력 변수와 값을 보여주는 변수 탭입니다.

    다음 예제에서는 그룹화된 목록 컨트롤에 대한 입력 변수 섹션을 보여 줍니다. 이 변수 정보는 정적 목록 컨트롤과 비슷하게 나타나지만 변수는 그룹화된 선택의 각 그룹으로 구분됩니다.

    그림 7. 그룹화된 선택 변수 목록 예시
    노드와 그룹 이름이 강조 표시된 변수 탭이 그룹별로 구분됩니다.

    변수 편집 탭

    주제, 주제 블록 및 간단한 대화 주제를 테스트할 때 주제의 노드에 있는 변수를 편집할 수 있습니다.

    주제의 노드에서 변수를 편집합니다.

    컨텍스트 탭

    컨텍스트 탭은 주제, 설정 주제 또는 간단한 대화 주제를 테스트할 때 나타나 채팅에 대해 다른 컨텍스트를 지정합니다. 목록에서 컨텍스트 변수를 선택합니다. 변수에는 주제 의도를 확인하거나 채팅이 라이브 에이전트에게 라우팅되는 방식을 제어하는 데 사용할 수 있는 상황별 정보가 포함됩니다. 예를 들어 변수 목록에서 포털 을 선택하고 포털 이름인 IT Express를 입력할 수 있습니다. 테스트 케이스를 생성할 때는 컨텍스트 탭을 사용할 수 없습니다.

    컨텍스트 변수 정의에 대한 자세한 내용은 을 참조하십시오 채팅 관련 정보를 저장할 컨텍스트 변수 구성. 에 포함된 가상 에이전트라이브 에이전트 변수에 대한 자세한 내용은 을 참조하십시오 라이브 에이전트 채팅 컨텍스트 변수.

    그림 8. 컨텍스트 탭 예
    서비스 포털의 컨텍스트 포털 값이 있는 컨텍스트 탭입니다.

    다음 단계

    주제 테스트가 완료되면 테스트 채팅 창을 닫습니다. 필요한 경우 테스트 정보를 사용하여 주제를 조정하여 더 정확하게 수행합니다. 예를 들어 테스트 구문 분석 탭의 결과는 낮은 점수 또는 확실하지 않음 또는 알 수 없음 신뢰 등급을 반환할 수 있습니다. LLM 지원 사용자 입력 노드에서 주제 설명 또는 지침을 업데이트하여 점수를 향상시킵니다.