예외 모델 테스트

  • 릴리스 버전: Washingtondc
  • 업데이트 날짜 2024년 02월 01일
  • 읽기4분
  • 실제 메트릭 데이터를 사용하여 작은 CI 및 메트릭 집합에 대한 예외 검색을 적용하고 평가하려면 예외 모델 테스트를 사용합니다. 테스트 결과를 예상 결과와 비교한 다음 프로덕션 환경에서 테스트된 CI와 메트릭에 대해 예외 검색을 활성화하도록 설정하기 전에 예외 검색 모델을 세부적으로 조정합니다.

    예를 들어 Linux 서버에 대해 예외 검색을 활성화하기 전에 이러한 Linux 서버용으로 수집된 실제 메트릭 데이터로 예외 모델 테스트를 사용할 수 있습니다. 기존 경보는 특정 메트릭과 CI에 대한 예외를 나타낼 수 있습니다. 예외 테스트 규칙을 생성하여 해당 CI 및 메트릭에 대한 예외 검색을 테스트한 다음 예상되는 예외인지 여부를 확인할 수 있습니다. 또한 예상되는 범위와 일치하는지 확인하기 위해 예외 모델이 계산한 범위를 조사할 수도 있습니다. 테스트 모델을 세밀 하 게 조정한 후에는 Linux 서버에 대해 변칙 검색을 사용할 수 있습니다.

    예외 모델 테스트에서는 동일한 CI에 20개의 메트릭 유형이나 20개의 다른 CI에 대해 동일한 메트릭 유형 또는 이러한 옵션 조합을 포함할 수 있는 최대 20개의 시계열을 지원합니다.

    인사이트 탐색기에서 테스트 결과 보기

    테스트 실행이 완료되면 인사이트 탐색기의 URL을 사용할 수 있게 됩니다. 이 트리밍된 버전의 인사이트 탐색기에 예외 모델 테스트 결과가 나타납니다. 이 인사이트 탐색기는 예외 테스트 규칙에 지정된 메트릭 계열에 대한 차트 및 점수와 함께 미리 로드되어 있습니다. 이 인사이트 탐색기에 CMDB 그룹이나 애플리케이션 서비스를 추가할 수 없습니다.

    인사이트 탐색기의 각 차트에는 해당 차트 설정의 예외 테스트 통계 섹션이 포함되어 있습니다. 이 섹션은 예외 모델 테스트에만 해당되며 다음 옵션을 제공합니다.
    • 범위 표시: 과거 메트릭 값에 대한 학습을 기반으로 예외 모델 테스트에서 메트릭의 계산된 상한 및 하한을 표시합니다. 상한값과 하한값이 항상 함께 나타납니다.
    • 예외 점수 표시: 예외 모델 테스트의 경우 가상 축 0-10에 대한 예외 점수를 표시합니다. 색상 코드는 이벤트 심각도 맵 [sa_metric_anomaly_score_to_event_severity_map] 테이블의 예외 점수에 정의된 점수 임계치를 기반으로 합니다.

    테스트 결과를 사용하여 예외 검색 세부 조정

    예외 모델 테스트에서는 예외 테스트 규칙에서 선택한 계열에 맞게 구성된 상한값과 하한값을 사용합니다. 테스트된 CI 및 메트릭의 예외 검색이 설정된 경우 예외 모델 테스트 결과에 지정된 설정을 기준으로 생성된 예외 경보 수가 표시됩니다. 그런 다음이 결과가 적합한지 여부를 결정할 수 있습니다. 생성되는 예외 경보 수가 과도하지는 않지만 범위를 벗어난 점수를 정확하게 표시할 수 있도록 충분하게 범위를 미세 조정합니다.

    예외 테스트 규칙 생성

    예외 모델 테스트를 사용하려면 최대 20개의 메트릭 계열을 지정하여 예외 검색을 테스트하는 예외 테스트 규칙을 생성합니다. 예외 테스트를 실행하고 완료되면 제공된 URL을 사용하여 모델 테스트 결과와 함께 미리 로드된 인사이트 탐색기를 엽니다.

    시작하기 전에

    필요한 역할: evt_mgmt_user

    프로시저

    1. 다음으로 이동 모두 > 이벤트 관리 > 예외 탐지 > 변칙 모델 테스트.
    2. 편집하고 다시 실행할 기존 예외 테스트 규칙을 선택하거나 새로 생성을 클릭하여 예외 테스트 규칙 양식을 입력합니다.
      필드 설명
      이름 모델 테스트 규칙의 이름입니다.
      적용 대상 모델 테스트 규칙에 대한 CI/메트릭 쌍을 선택할 테이블입니다. 사용된 테이블은 CI에 대한 메트릭 매핑 [sa_metric_map]입니다.
      규칙 예외 모델 테스트를 위한 CI/메트릭 쌍을 지정하는 필터 조건입니다. 이 규칙으로 인해 20쌍 이상의 CI/메트릭이 생성되면 목록이 20으로 잘립니다.
      시작 날짜/종료 데이터 예외 검색 테스트를 적용하는 기간입니다. 기간은 지난 7일 사이에 있어야 합니다.
      상태 테스트 실행 중에 시스템에 의해 자동으로 업데이트되는 테스트 상태입니다. 초기에 상태가 예약되고 결국 완료로 변경됩니다.
      URL 예외 모델 테스트 결과가 미리 로드되는 인사이트 탐색기의 URL입니다.
      메모 예외 테스트 규칙의 각 테스트 실행에 대한 상세 정보와 함께 시스템에 의해 자동으로 업데이트 되는 로깅 요약입니다.
    3. 예외 테스트 실행을 클릭합니다.
      테스트 실행 중에 작업 진행 상황을 반영하여 상태, URL메모 필드가 자동으로 업데이트됩니다.
    4. 상태가 완료로 변경되면 URL 링크를 클릭하여 인사이트 탐색기를 연 후 테스트 결과를 확인합니다.

    결과

    예외 모델 테스트의 범위와 차트는 인사이트 탐색기에서 흐린 색으로 나타납니다. 또한 테스트로 계산되는 상한값과 하한값은 실제 예외 검색 결과에 사용되는 라인 패턴과 다른 라인 패턴을 사용합니다. 이러한 차이를 통해 실제 예외 검색 및 예외 모델 테스트 결과를 차트 설정에서 둘 다 선택되더라도 구별할 수 있습니다. 실제 예외 탐지 결과에 비해 흐린 색으로 나타나는 예외 모델 테스트 결과.

    다음에 수행할 작업

    • 테스트의 날짜 범위를 수정하거나 다른 시계열을 선택하고 예외 테스트 실행을 다시 클릭하여 모델을 계속 사용하면서 세부적으로 조정할 수 있습니다.
    • 차트의 통계 및 집계 표시를 전환하려면 차트에 대한 차트 설정 아이콘을 클릭합니다. 실제 예외 검색 결과 옆에 테스트 결과를 표시하려면 범위 표시 및 예외 통계 섹션에 있는 예외 점수 표시를 선택합니다.
      주:
      예외 모델 테스트 결과는 실제 예외 검색 결과와 매우 비슷할 수 있습니다. 차트 위로 마우스를 이동할 때 차트가 동시에 표시되도록 구성하면 차이를 확인하기 어려울 수 있습니다.
    • 예외 테스트 결과가 만족스러우면 테스트에 지정된 메트릭과 CI의 프로덕션 환경에서 예외 검색을 활성화합니다. 자세한 내용은 모니터링할 메트릭 선택 및 구성 문서를 참조하십시오.