평가 및 위험 평가 방법론 개요

평가 템플릿은 AI 평가 중에 사용되는 질문서와 평가 기준을 정의합니다. RAM은 위험 평가 중에 사용되는 점수 매기기 프레임워크와 분류 기준을 정의합니다.

스마트 평가 엔진

SAE 는 (AIRC)가 모든 AI 평가를 생성, 관리 및 완료하는 데 사용하는 기본 평가 플랫폼 AI 위험 및 준수 입니다. SAE는 평가 템플릿, 문제 설계, 섹션 기반 구성, 채점 및 공동 평가 워크플로우를 위한 인프라를 제공합니다.

AIRC는 애플리케이션과 함께 AI 위험 및 준수 콘텐츠 설치된 구성요소를 사용하여 SAE 평가 생성, 점수 산정 및 자동화를 지원합니다.

평가 작업 공간

AIRC 관리자 [sn_grc_ai_gov.ai_risk_and_compliance_manager]는 평가 작업 공간을 통해 평가 템플릿을 관리합니다. 다음으로 이동 작업 공간 > 평가 작업 공간 평가 템플릿을 보고, 편집하고, 게시합니다. 작업 공간에는 각 템플릿에 대한 템플릿 이름, 게시된 상태 및 연결된 메타데이터가 표시됩니다.

평가 작업 공간을 사용하여 다음 작업을 수행합니다.

• 사용 가능한 모든 평가 템플릿과 게시된 상태를 봅니다.
• 템플릿을 열어 섹션, 질문 및 점수 매기기 논리를 검토하거나 편집합니다.
• 초안 템플릿을 게시하여 평가에 사용할 수 있도록 합니다.
• 사용자 지정 평가 요구 사항을 지원하는 평가 템플릿을 생성합니다.

평가 템플릿 구조

각 평가 템플릿은 다음 구성요소를 정의합니다.

섹션

평가 내에서 관련 질문을 구성하는 논리적 그룹입니다. 섹션은 평가 완료 시 구조와 탐색을 제공합니다.

질문

평가 중에 평가자가 응답하는 개별 평가 기준입니다. 질문에는 객관식, 자유 텍스트, 등급 척도 및 기타 응답 유형이 포함될 수 있습니다.

점수 매기기 논리

평가 응답을 기반으로 점수를 계산하는 규칙입니다. 점수 매기기 논리는 개별 응답이 전체 평가 결과에 기여하는 방식을 결정합니다.

위험 및 통제 매핑

특정 응답과 미리 정의된 위험 설명 또는 통제 목표 간의 연관성입니다. 이러한 매핑은 사후 평가 작업을 통해 거버넌스 기록의 자동 생성을 유도합니다.

사후 평가 작업

스마트 평가를 위한 사후 평가 작업(sn_smart_imp_auto)은 평가 응답을 기반으로 거버넌스 기록을 생성하는 자동화 프레임워크를 제공합니다. 사용자가 평가를 완료하면 시스템은 구성된 자동화 규칙에 대한 응답을 평가하고 적용 가능한 위험, 통제 및 기타 기록을 생성합니다.

사전 정의된 위험 설명과 통제 목표는 콘텐츠 라이브러리를 통해 제공되지만, 애플리케이션을 트리거하는 조건은 구성할 수 있으며 각 조직에서 검토 및 검증을 받아야 합니다.

이 프레임워크는 평가 워크플로우에 매우 중요합니다. 사후 평가 작업이 없으면 평가 응답은 다운스트림 거버넌스 활동을 유도하는 위험 설명과 통제 목표를 자동으로 생성하지 않습니다.

스마트 평가를 위한 사후 평가 작업과 함께 설치되는 sn_impact_fwk(sn-reusable-impact-framework) 애플리케이션은 사후 평가 작업이 에서 사용하는 AI 위험 및 준수재사용 가능한 프레임워크 구성요소를 제공합니다.

AI 위험 및 준수에서 사후 평가 작업이 작동하는 방식

AI 자산 소유자 [sn_ai_asset_mgmt.ai_asset_owner]가 기본권 영향 평가(FRIA)의 질문에 응답하면 사후 평가 작업이 구성된 자동화 규칙에 대한 응답을 평가할 수 있습니다. 규칙 기준이 충족되면 다음 순서가 발생합니다.

1. 시스템은 평가 템플릿에 대해 구성된 자동화 규칙에 따라 평가 응답을 평가합니다.
2. 응답에 따라 시스템은 콘텐츠 라이브러리에서 적용 가능한 위험 설명과 통제 목표를 식별합니다.
3. 시스템은 식별된 위험 설명과 통제 목표를 평가 기록과 연결합니다.
4. AI 위험 및 준수 분석가 [sn_grc_ai_gov.ai_risk_and_compliance_analyst]가 평가를 종결 완료로 표시하면 시스템이 위험 및 통제 기록을 생성하고 AI 자산에 매핑합니다.

거버넌스 기록이 확정되기 전에 AI 위험 및 준수 분석가가 규정된 생성된 위험 및 통제 목표 목록을 검토합니다. 이 검토 단계는 자동으로 생성된 기록이 정확하고 관련성이 있으며 특정 AI 시스템에 적합한지 확인하는 데 도움이 됩니다.

비즈니스 구성

비즈니스 구성을 통해 조직은 평가, 자동화 및 위험 평가 동작을 거버넌스, 규제 및 운영 요구 사항에 맞게 조정할 수 있습니다. 이러한 구성은 일반적으로 AI 위험 및 준수 관리자가 수행합니다.

사후 평가 작업 구성

AI 위험 및 준수 관리자 [sn_grc_ai_gov.ai_risk_and_compliance_admin]는 평가 응답이 AI 시스템에 대한 거버넌스 요소의 연결 및 분류를 트리거하는 방법을 결정하는 사후 평가 자동화 규칙을 구성합니다. 이러한 규칙은 평가가 완료되고 완료 종결로 표시된 후 통제 목표, 위험 설명 및 시스템 특성이 자동으로 적용되는 방식을 관리합니다.

사후 평가 작업은 평가 응답을 AI 시스템에 대한 거버넌스 분류 및 연결로 변환하는 다음 작업 유형을 지원합니다.

작업	설명
AI 시스템에 통제 목표 매핑	영향 평가를 위해 프로파일링된 질문에 대한 응답으로 인벤토리의 적용 가능한 통제 목표를 AI 시스템에 연결합니다.
AI 시스템에 위험 설명 매핑	영향 평가를 위해 프로파일링된 질문에 대한 응답으로 레지스트리의 해당 위험 설명을 AI 시스템에 연결합니다.
AI 시스템이 사용되는 영역 매핑: 고객 서비스	AI 시스템이 영향 평가, 규제 위험 분류 및 거버넌스 보고를 지원하기 위해 고객 서비스에서 사용되는 것으로 분류합니다.
AI 시스템이 사용되는 영역 매핑: 외부 파트너 생태계	AI 시스템을 위험 분석, 외부 공급업체 영향 평가 및 준수 보고를 지원하기 위해 외부 파트너 에코시스템 내에서 사용되는 것으로 분류합니다.
AI 시스템이 사용되는 영역 매핑: 재무 및 회계	AI 시스템을 재무 및 회계 활동을 지원하는 것으로 분류하여 규제 위험 분류, 통제 적용 가능성 및 거버넌스 감독을 지원합니다.
AI 시스템이 사용되는 영역 매핑: HR 및 인력	AI 시스템을 HR 및 인력 컨텍스트에서 인력 영향 평가, 준수 의무 및 거버넌스 요구 사항을 지원하는 데 사용되는 것으로 분류합니다.
AI 시스템이 사용되는 영역 매핑: 내부 운영	AI 시스템을 내부 운영 지원으로 분류하여 영향 평가, 통제 요구 사항 및 거버넌스 보고를 지원합니다.
AI 시스템이 사용되는 영역 매핑: IT 및 보안	AI 시스템을 IT 및 보안 기능에 사용되어 운영 위험, 통제 적용 가능성 및 거버넌스 준비 상태 평가를 지원하는 것으로 분류합니다.
AI 시스템이 사용되는 영역 매핑: 판매 및 마케팅	AI 시스템을 영향 평가, 위험 평가 및 거버넌스 보고를 지원하기 위해 영업 및 마케팅에서 사용되는 것으로 분류합니다.
AI 시스템이 사용되는 영역 매핑: 공급망	AI 시스템을 영향 평가, 규제 위험 분류 및 거버넌스 감독을 지원하기 위해 공급망 활동에 사용되는 것으로 분류합니다.
시스템에서 사용되는 데이터 매핑: 행동 또는 사용 데이터	행동 또는 사용 데이터를 AI 시스템과 연결하여 영향 평가, 위험 평가 및 준수 분석에 사용되는 데이터 범주를 문서화합니다.
시스템에서 사용되는 데이터 매핑: 비즈니스 운영 데이터	비즈니스 운영 데이터를 AI 시스템과 연결하여 데이터 관련 위험, 통제 적용 가능성 및 준수 요구 사항의 평가를 지원합니다.
시스템에서 사용되는 데이터 매핑: 고객 상호작용 데이터	고객 상호작용 데이터를 AI 시스템과 연결하여 고객 영향 평가, 데이터 보호 고려 사항 및 거버넌스 보고를 지원합니다.
시스템에서 사용되는 데이터 매핑: 프로파일 또는 계정 데이터	프로파일 또는 계정 데이터를 AI 시스템과 연결하여 위험, 영향 및 규정 준수 평가를 위한 식별 가능한 데이터의 사용을 문서화합니다.
시스템에서 사용되는 데이터 매핑: 공개 또는 일반 정보	공개 또는 일반 정보를 AI 시스템과 연결하여 사용된 데이터 소스를 문서화하고 투명성 및 위험 평가를 지원합니다.
시스템에서 사용되는 데이터 매핑: 중요한 비즈니스 데이터	민감한 비즈니스 데이터를 AI 시스템과 연결하여 강화된 위험 평가, 통제 요구 사항 및 거버넌스 감독을 지원합니다.
AI 시스템의 의도된 결과 매핑	영향 평가, 위험 분류 및 거버넌스 의사 결정을 지원하기 위해 AI 시스템의 의도된 결과와 목적을 캡처합니다.
최종 사용자와의 상호작용 유형 매핑	최종 사용자가 투명성, 사용자 영향 및 거버넌스 요구 사항 평가를 지원하기 위해 AI 시스템과 상호 작용하는 방식을 캡처합니다.
인간 개입 수준 매핑	AI 시스템과 관련된 인간의 감독 또는 개입 수준을 캡처하여 책임성, 통제 적용 가능성 및 거버넌스 준비 상태를 지원합니다.
AI 시스템의 영향을 받는 사람: 외부 파트너	영향 평가, 위험 평가 및 책임 분석을 지원하기 위해 외부 파트너를 영향을 받는 이해 관계자로 식별합니다.
AI 시스템의 영향을 받는 사람: 일반 고객 기반	고객의 영향, 위험 및 규정 준수 의무 평가를 지원하기 위해 일반 고객층을 영향을 받는 이해 관계자로 식별합니다.
AI 시스템의 영향을 받는 사람: 내부 팀	인력 영향 평가 및 거버넌스 책임을 지원하기 위해 내부 팀을 영향을 받는 이해 관계자로 식별합니다.
AI 시스템의 영향을 받는 사람: 대중 또는 대규모 대상	광범위한 영향, 규제 노출 및 거버넌스 위험에 대한 평가를 지원하기 위해 대중 또는 대규모 대상을 영향을 받는 이해 관계자로 식별합니다.
생성된 출력 유형: 자동화된 의사 결정	AI 시스템을 규제 위험, 인간 감독 요구 사항 및 거버넌스 통제의 평가를 지원하는 자동화된 결정을 생성하는 것으로 분류합니다.
생성된 출력 유형: 생성된 콘텐츠	AI 시스템을 투명성, 오용 위험 및 준수 요구 사항 평가를 지원하기 위해 생성된 콘텐츠를 생성하는 것으로 분류합니다.
생성된 출력 유형: 인사이트 및 요약	AI 시스템을 의사 결정 지원 위험 및 거버넌스 감독의 평가를 지원하기 위한 인사이트 또는 요약을 생성하는 것으로 분류합니다.
생성된 출력 유형: 순위 및 점수	AI 시스템을 공정성, 편향 위험 및 거버넌스 요구 사항 평가를 지원하기 위해 순위 또는 점수를 생성하는 것으로 분류합니다.
생성된 출력 유형: 권장 사항	AI 시스템을 다운스트림 영향, 감독 요구 사항 및 준수 의무 평가를 지원하기 위한 권장 사항을 생성하는 것으로 분류합니다.
생성된 출력 유형: 단순 경보	AI 시스템을 운영 영향 및 거버넌스 관련성 평가를 지원하는 단순 경보를 생성하는 것으로 분류합니다.
생성된 출력 유형: 시스템 작업	AI 시스템을 자동화 위험, 통제 요구 사항 및 거버넌스 준비 상태 평가를 지원하기 위한 시작 시스템 작업으로 분류합니다.

이러한 작업 유형을 통해 조직은 평가 질문에 대한 답변 방식에 따라 거버넌스 요구 사항을 AI 시스템과 일관되게 연결할 수 있으므로 평가 결과와 위험 및 준수 아티팩트 간의 추적성을 보장할 수 있습니다.

기본 시스템의 일부로 제공되는 평가 템플릿에는 콘텐츠 라이브러리에 미리 정의된 통제 목표와 위험 설명이 포함되어 있습니다. 그러나 매핑 논리는 AI 시스템과 연결된 거버넌스 요소를 결정하며, 사후 평가 작업 구성을 통해 정의됩니다.

주:

제품과 함께 제공되는 콘텐츠는 사용 편의성을 지원하기 위한 것입니다. 조직은 관련 법률, 규정, 지침 및 표준을 준수하고 사용되는 콘텐츠가 정확하고 최신 상태인지 확인할 책임이 있습니다. 조직은 규제, 거버넌스 및 운영 요구 사항에 맞게 제공된 콘텐츠를 교체하거나 조정할 수 있습니다.

구성은 평가 템플릿을 편집하고 평가 응답을 평가하는 자동화 규칙을 정의하여 평가 작업 공간에서 수행됩니다. 각 규칙은 특정 응답 조건이 충족될 때 연관시켜야 하는 통제 목표 또는 위험 보고서를 지정합니다.

구성 후에는 테스트 평가를 완료하고 평가가 완료 종결로 표시되면 예상 통제 목표와 위험 설명이 생성되어 AI 시스템에 매핑되는지 확인합니다.

사후 평가 자동화 및 구성에 대한 자세한 내용은 해당 문서를 참조하십시오 평가 후 자동화사후 평가 작업 구성.

평가 후 작업 구성 예

다음 예는 평가 템플릿에서 사후 평가 작업을 구성하고 평가가 완료된 후 적용하는 방법을 보여줍니다.

평가 작업 공간에서 AI 위험 및 준수 관리자는 게시된 AI 영향 평가 템플릿을 검토하고 개인정보 보호 관련 질문에 대한 응답을 평가하는 평가 후 작업을 구성합니다.

조건: 자동화 규칙은 평가 질문 "AI 시스템이 개인 데이터를 사용합니까?"에 대한 응답을 평가합니까?

응답: 예.

작업: 응답이 예인 경우 사후 평가 작업은 미리 정의된 거버넌스 요소를 연결된 AI 시스템에 자동으로 매핑합니다.

매핑된 통제 목표:

• 데이터 품질 보장
• 데이터 수집 및 분석
• 필드 데이터 분석

매핑된 위험 설명:

• 운영 연속성 및 다운타임
• 의도하지 않은 결과
• 평판 훼손
• 규정 미준수
• 개인정보 보호 위반
• 과적합 및 과소적합
• 모델 포이즈닝
• 모델 성능 저하(모델 드리프트)
• 투명성 및 책임성 부족
• 투명성 및 설명 가능성 부족
• 부적절한 데이터 보호
• 윤리적 표준 미준수
• 데이터 보안
• 데이터 편향
• 데이터 무결성
• 알고리즘 편향 및 차별
• 데이터 침해 및 도난
• 적대적 공격
• AI 모델에 대한 무단 접근

평가가 제출되고 완료 종결로 표시되면 이러한 매핑이 평가되고 해당 위험 및 통제 기록이 AI 시스템과 자동으로 연결됩니다.

주:

제품과 함께 제공되는 콘텐츠는 사용 편의성을 지원하기 위한 것입니다. 조직은 관련 법률, 규정, 지침 및 표준을 준수하고 사용되는 콘텐츠가 정확하고 최신 상태인지 확인할 책임이 있습니다. 조직은 규제, 거버넌스 및 운영 요구 사항에 맞게 제공된 콘텐츠를 교체하거나 조정할 수 있습니다.

위험 평가 방법론 구성

관리자는 접수, 평가 및 위험 평가 워크플로우 중에 적용되는 위험 평가 방법론(RAM)을 구성할 수 있습니다.

구성 옵션에는 AI 시스템, 모델 및 데이터 세트에 대한 기본 RAM 지정과 자동 또는 고급 위험 계산 동작 활성화가 포함됩니다.

접수 시 AI 시스템 위험 분류에 대한 기본 RAM을 구성하려면 sn_grc_ai_gov.ai_system_risk_classification_ram 속성을 설정합니다.

접수 중에 자동 위험 분류를 구성하려면 sn_grc_ai_gov.ai_system_automated_risk_classification_asmt_ram 속성을 지정합니다.

AI 시스템 전반에서 위험 평가에 사용되는 기본 RAM을 정의하려면 sn_grc_ai_gov.aisystem_primary_ram 속성을 설정합니다.

자세한 내용은 AI 위험 및 준수 속성 설정 문서를 참조하십시오.

중요사항:

AI 자산 전체에서 위험 점수 롤업을 활성화하려면 고급 위험 애플리케이션을 설치하고 고급 위험 평가로 마이그레이션 속성을 예로 설정합니다. 이는 위험 계산 및 롤업 동작을 Advanced Risk 프레임워크로 영구적으로 전환하는 단방향 구성 변경입니다. 평가 속성 설정 고급 위험 문서를 참조하십시오.

평가 템플릿

다음 표에는 AI 시스템, AI 모델 및 AI 케이스에 사용할 수 있는 평가 템플릿이 나열되어 있습니다. 함께 AI 위험 및 준수 제공되는 템플릿은 초안 상태로 제공됩니다. AI 위험 및 준수 관리자 [sn_grc_ai_gov.ai_risk_and_compliance_manager] 역할을 가진 사용자가 평가 작업 공간을 통해 초안 템플릿을 게시합니다. 지침은 평가 템플릿 게시 문서를 참조하십시오.

위험 평가 방법론

위험 평가 방법론(RAM)은 AI 자산과 관련된 위험을 평가하는 데 사용되는 점수 매기기 프레임워크, 분류 기준 및 기여 요인을 정의합니다.

RAM은 접수, 자산 수준 위험 평가 및 대량 위험 평가 프로젝트 중에 사용됩니다. 컨텐츠 팩은 기본 RAM을 제공하며 관리자는 조직의 요구 사항에 맞게 사용자 지정 RAM을 생성할 수 있습니다.

여러 위험 평가를 함께 조정하는 방법에 대한 자세한 내용은 다음 문서를 참조하십시오 AI 위험 및 준수의 위험 평가 프로젝트.

사용 및 목적 제출, 스마트 평가 및 위험 평가를 기반으로 하는 자동 위험 분류

자동 위험 분류는 접수 검사, 평가 및 위험 평가를 단일 거버넌스 플로우로 연결합니다. 접수 요청 중에 캡처된 정보, 특히 사용 및 목적 섹션에서 제품 소유자가 제공한 응답은 후속 평가에서 재사용되며 AI 시스템이 높음, 중간 또는 낮음 위험으로 분류되는 방식에 직접적으로 기여합니다.

평가 템플릿, RAM 및 사후 평가 작업이 함께 작동하여 AI 거버넌스 수명주기 전반에 걸쳐 질적 컨텍스트, 규제 영향 및 정량적 위험 점수가 일관되게 적용되도록 합니다.

AI 시스템의 일반적인 평가 시퀀스는 이러한 구성 요소가 어떻게 상호 연결되는지 보여줍니다.

1. 접수 중에 AI 시스템 RAM에 대한 자동 위험 분류는 AI 사용 케이스 요청의 사용 및 목적 섹션에서 캡처된 응답을 평가하고 초기 규제 위험 분류를 할당합니다.
2. 평가 단계에서 위험 평가는 개인정보 보호, 공정성 및 기타 기본권에 대한 시스템의 잠재적 영향에 대한 정보를 캡처합니다. 사용 및 목적 섹션의 응답은 연속성을 제공하고 중복 데이터 입력을 줄이기 위해 전달됩니다.
3. 사후 평가 작업은 위험 평가 응답을 평가하고 구성된 자동화 규칙에 따라 해당 위험 설명 및 통제 목표를 평가 기록과 자동으로 연결합니다.
4. AI 위험 및 준수 분석가는 거버넌스 기록이 확정되기 전에 정확성, 관련성 및 적용 가능성을 검증하기 위해 생성된 위험 및 통제 목표의 규정된 목록을 검토합니다.
5. 평가가 완료 종결로 표시되면 시스템은 위험 및 통제 기록을 생성하고 AI 자산에 매핑합니다. 그런 다음 AI 인벤토리 RAM에 대한 위험 평가는 정량적 점수를 매기기 사용하여 식별된 각 위험을 평가하고 고유 및 잔여 위험 점수를 계산합니다.
6. EU AI 법의 적용을 받는 AI 시스템의 경우 EU AI 법 적합성 평가 및 기본권 영향 평가(FRIA)와 같은 추가 평가를 통해 전문적인 규제 평가를 제공합니다.

이 진행 과정에서 평가 결과와 위험 점수는 AI 시스템이 다음 수명주기 단계로 진행할 수 있는지 여부에 대한 거버넌스 결정을 알립니다. 이러한 활동이 수명주기 스테이지에 어떻게 부합하는지에 대한 개요는 다음 문서를 참조하십시오 AI 거버넌스 수명주기.