AI 데스크톱 작업에서 단계를 자동 캡처하여 반복 작업 자동화

  • 릴리스 버전: Australia
  • 업데이트 날짜 2025년 11월 10일
  • 소요 시간: 6분
  • 에서 반복 작업을 AI 데스크톱 작업자동화하기 위해 단계를 자동 캡처하여 데스크톱 작업을 생성합니다. 애플리케이션 요소에서 수행하는 단계를 화면 작업 유형의 재사용 가능한 데스크톱 작업으로 저장할 수 있습니다.

    시작하기 전에

    이 기능에 액세스하려면 AI 데스크톱 작업 다음 단계를 수행합니다.
    • 인스턴스에서 활성화 AI 데스크톱 작업 합니다 ServiceNow . 자세한 내용은 AI 데스크톱 작업 구성 문서를 참조하십시오.
    • 설치 프로그램을 다운로드 AI 데스크톱 작업 하여 애플리케이션과 시스템 전반에서 반복적인 작업을 자동화합니다. 자세한 내용은 AI 데스크톱 작업 다운로드 설치 관리자 문서를 참조하십시오.

    다음 시스템 요구 사항이 충족되는지 확인합니다.

    • Windows 11 운영 체제가 사용됩니다.
    • .NET 9.0 런타임 v9.0.10 및 .NET 9 데스크톱 런타임 v9.0.10이 설치되어 있습니다.
    • 확장된 모니터가 연결되어 있지 않습니다.
    • 테마는 기록과 실행에 사용되는 시스템 간에 일치해야 합니다.

    디자인 작업 공간 및 작업 레코더에 익숙해집니다. 자세한 내용은 AI 데스크톱 작업 디자인 작업 공간AI 데스크톱 작업의 작업 레코더 문서를 참조하십시오.

    필요한 역할: sn_aia.admin

    이 태스크 정보

    데스크톱 및 웹 애플리케이션에 대해 자동화하려는 단계를 기록하고 자동화를 실행하는 동안 AI 에이전트가 시뮬레이션할 수 있는 화면 작업 유형의 데스크톱 작업으로 저장할 수 있습니다.

    작업 레코더를 사용하면 클릭, 키 입력 및 데이터 입력을 포함하여 데스크톱 애플리케이션에서 수행하는 모든 단계를 시각 및 상황별 정보와 함께 기록할 수 있습니다. 이렇게 상세한 단계를 기록하면 자동화된 작업이 상호 작용을 안정적으로 복제할 수 있습니다.

    주:
    자동화에 OTP 또는 CAPTCHA 입력과 같은 수동 입력이 필요한 경우 실행 중에 사용자 입력을 기다리도록 AI 에이전트에게 지침을 제공해야 합니다. 그렇지 않으면 자동화를 진행할 수 없습니다.

    프로시저

    1. Windows 시스템에서 애플리케이션을 시작합니다AI 데스크톱 작업.
    2. 로그인 페이지의 Add ServiceNow URL 필드에 인스턴스 URL을 ServiceNow 입력합니다.
      예: https://<인스턴스 이름>.service-now.com
      AI 데스크톱 작업 인스턴스 URL을 입력 ServiceNow 하기 위한 로그인 화면입니다.
    3. 계속을 선택합니다.
    4. 사용자 이름과 암호를 입력하여 계정에 로그인 ServiceNow 합니다.
      sn_aia.admin 역할이 있어야 합니다.

      계정 사용자 이름과 암호를 입력하기 위한 로그인 창입니다.ServiceNow

    5. 옵션: 온보딩 여정 마법사에서 온보딩을 완료하고 시작하기를 선택합니다.
      애플리케이션의 주요 내용을 보여주는 5페이지가 있는 온보딩 여정 위젯입니다.

      AI 데스크톱 작업 처음 실행하면 온보딩 여정 위젯이 나타납니다. 다시 표시 안 함 을 선택하여 다음에 시작할 AI 데스크톱 작업 때 위젯을 숨기거나 인트로 건너뛰 기를 선택하여 온보딩을 건너뛸 수 있습니다.

    6. AI 데스크톱 작업 홈페이지에서 데스크톱 작업 생성을 선택합니다.
      AI 데스크톱 작업 데스크톱 작업 생성 UI 작업, 검색 및 선택 옵션, 기존 데스크톱 작업의 카드를 표시하는 홈페이지입니다.
    7. 새 데스크톱 작업 대화 상자에서 단계 자동 캡처(권장)를 선택합니다.
      자동 캡처 옵션이 선택되고 데스크톱 작업의 이름과 설명을 입력할 필드가 있는 새 데스크톱 작업 창입니다.
    8. 데스크톱 작업의 이름과 설명을 입력합니다.
    9. 캡처 시작을 선택합니다.

      창이 AI 데스크톱 작업 최소화되고 작업 레코더 패널이 시작됩니다. 작업 레코더 패널을 데스크탑 화면의 어느 곳에서나 자유롭게 드래그하고 위치를 변경할 수 있습니다.

      취소, 일시 중지 및 기록 시작 UI 작업이 있는 부동 레코더 패널입니다.
    10. 단계를 기록할 애플리케이션을 엽니다.
    11. 작업 레코더 패널에서 기록 시작을 선택합니다.
      액션 레코더 패널에 "녹화 시작됨" 메시지가 표시됩니다. 필요한 경우 추가 옵션 메뉴에서 다음 옵션 중 하나를 선택할 수 있습니다.
      • 일시 중지: 기록 단계 건너뛰기
      • 다시 시작: 단계 기록을 다시 시작합니다.

        기록된 화면과 단계가 손실됩니다.

      • 취소: 필요에 맞지 않으면 녹화를 취소합니다.
      중요사항:
      녹음기가 단계 캡처를 놓칠 수 있으므로 녹음하는 동안 단계를 너무 빨리 수행하지 마십시오.
      • 작업 레코더 패널의 메시지가 빨간색으로 나타나면 계속하기 전에 레코더가 현재 단계 처리를 마칠 때까지 기다립니다.

        패널이 아직 단계를 캡처 중임을 나타내는 노란색 메시지입니다.

      • 상호작용하는 요소 주위에 빨간색 강조 표시 상자가 나타나고 작업 레코더 패널의 메시지가 파란색으로 바뀌면 다음 단계 캡처를 진행합니다.

        패널 캡처 단계를 완료했음을 나타내는 파란색 메시지입니다.

    12. 자동화하려는 단계를 수행합니다.

      수행하는 각 단계는 순차적으로 캡처되며 각 단계에 대한 UI 작업 유형이 표시됩니다. 예를 들어, 마우스 왼쪽 클릭 이벤트 캡처

    13. 모든 단계를 완료한 후 작업 레코더 패널에서 기록 종료를 선택합니다.

      녹화 세션에서 레코더를 사용하여 최대 50단계를 캡처할 수 있습니다. 단계를 자동으로 캡처하는 동안 카운터는 레코더를 사용하여 캡처할 수 있는 나머지 단계 수를 표시합니다(예: "35/50 max"). 50단계를 캡처한 후 기록이 자동으로 중지됩니다. 추가 단계를 캡처해야 하는 경우 새 기록 세션을 시작합니다. 새 녹화는 이전 녹화에서 캡처한 화면에 화면과 단계를 추가합니다.

      작업 레코더 패널에 "기록된 작업 초안 작성" 메시지가 표시됩니다.

      기록된 단계는 앵커와 단계가 자동으로 추가된 함께 디자인 작업 공간에 스크린샷으로 표시됩니다.

    14. 캡처된 화면의 시퀀스를 검토합니다.
      화면 및 단계 패널에서 화면을 끌어서 순서를 조정할 수 있습니다.
    15. 앵커의 위치를 검토하고 필요에 따라 조정합니다.
      주:
      자동 고정 정확도는 애플리케이션의 접근성, 성능 및 UI 복잡성에 따라 달라집니다.
    16. 단계를 검토하고 조정합니다.
      단계를 추가, 제거 또는 끌어서 시퀀스를 수정할 수 있습니다.
      1. 앵커 컨트롤 메뉴에서 단계 추가 아이콘 을 선택합니다.
      2. 상황별 메뉴에서 이 단계에 대해 수행할 단계 유형을 선택합니다.
        다양한 유형의 입력 및 출력 단계를 표시하는 앵커가 추가된 앱의 화면 캡처입니다.
        표 1. 작업에 대한 설명
        목표 단계 유형 예제
        필드에 텍스트 입력 텍스트 설정 입력 사용자 이름, 주소, 설문 조사 응답 같은 텍스트 데이터를 입력하거나 텍스트 입력이 허용되는 모든 상황을 입력합니다.
        주:
        이 필드에 대한 정적 값을 설정하면 자동화는 실행 중에 해당 값을 사용하며 패널에서 Now Assist 입력하라는 메시지를 표시하지 않습니다.
        마우스 클릭 시뮬레이션 Click 입력 버튼을 클릭하거나, 메뉴를 열거나, 일반적으로 마우스 클릭으로 수행하는 단계를 수행합니다.
        대체 마우스 동작 시뮬레이션(예: 마우스 오른쪽 단추 클릭, 끌기, 스크롤 또는 붙여넣기) 마우스 클릭 입력 마우스 오른쪽 버튼을 클릭하여 개체를 선택하거나 웹 페이지를 스크롤하는 등 다양한 마우스 장치 작업을 수행합니다.
        키 누름 또는 키 기능 시뮬레이션 키 보내기 입력 필드 및 요소에 Ctrl + C 를 입력하여 텍스트를 복사하는 등의 키보드 단축키를 수행합니다.
        주:
        이 필드에 대한 정적 값을 설정하면 자동화는 실행 중에 해당 값을 사용하며 패널에서 Now Assist 입력하라는 메시지를 표시하지 않습니다.
        창 또는 웹 페이지에서 텍스트 캡처 텍스트 가져오기 출력 소스 영역에서 텍스트를 수신합니다.
        테이블 캡처 테이블 가져오기 출력 텍스트가 테이블 형식일 때 소스 영역에서 테이블을 받습니다.
        주:
        테이블 데이터를 성공적으로 캡처하는 단계의 경우 데이터가 이미 테이블 양식에 있어야 합니다. 이 단계에서는 일반 텍스트를 테이블 데이터로 변환할 수 없습니다.
        이미지에서 텍스트 읽기 OCR 읽기 텍스트 출력 이미지에서 텍스트를 인식하여 표준 텍스트 형식으로 반환합니다.

        자동화 단계를 나타내는 여러 단계를 추가할 수 있습니다.

    17. 속성 패널에서 추가된 화면, 앵커 및 단계에 대한 속성을 구성합니다.
      자세한 내용은 AI 데스크톱 작업의 화면, 앵커 및 단계 속성 문서를 참조하십시오.
    18. 옵션: 추가된 모든 화면, 앵커 및 단계의 자동 생성 이름을 수정합니다.

      다음 이름 지정 지침에 따라 자동 생성된 이름을 수정할 수 있습니다.

      • 이름 필드는 비워둘 수 없습니다.
      • 이름 필드에는 영숫자만 포함되어야 합니다. 공백과 특수 문자는 허용되지 않습니다.
      • 각 이름은 해당 상위 수준에서 고유해야 합니다.
        • 각 화면에는 데스크톱 작업 수준에서 고유한 이름이 있어야 합니다.
        • 각 앵커는 화면 수준에서 고유한 이름을 가져야 합니다.
        • 각 단계에는 앵커 수준에서 고유한 이름이 있어야 합니다.

    다음에 수행할 작업

    1. 데스크톱 작업의 상세 정보를 구성합니다. 자세한 내용은 AI 데스크톱 작업에서 데스크톱 작업에 상세 정보 추가 문서를 참조하십시오.
    2. AI 에이전트에 도구로 추가할 수 있도록 데스크톱 작업을 테스트하고 활성화합니다. 자세한 내용은 AI 데스크톱 작업에서 데스크톱 작업 테스트 및 활성화 문서를 참조하십시오.
    3. 의 AI 에이전트 AI 에이전트 스튜디오에 데스크톱 작업을 도구로 추가합니다. 자세한 내용은 AI 에이전트에 데스크톱 작업 추가 문서를 참조하십시오.