Now Assist 가디언
Now Assist 가디언 는 SLM(소규모 언어 모델)을 ServiceNow 기반으로 하며 생성형 AI 상호작용을 모니터링하여 불쾌한 콘텐츠, 프롬프트 삽입 공격 및 민감한 주제를 탐지합니다.
Now Assist 가디언 개요
생성형 AI는 새로운 기술입니다. 인간의 상호 작용은 예측할 수 없으며 LLM(대규모 언어 모델)에서 생성된 출력은 확률적이므로 확률을 기반으로 합니다. 동일한 입력을 두 번 실행하면 두 개의 다른 출력이 생성될 수 있습니다. 이 위험을 관리하는 것은 인스턴스에 생성형 AI를 구현할 때 중요한 고려 사항입니다. Now Assist 가디언 가 LLM에 전송된 요청과 응답을 실시간으로 평가하여 해당 위험을 줄입니다.
가드레일
| 가드레일 | 탐지하는 내용 | 범위 |
|---|---|---|
| 불쾌한 콘텐츠 탐지 | AI 입력 및 출력에 공격적이거나 유해한 콘텐츠. | 특정 Now Assist 기술 및 워크플로우 |
| 프롬프트 삽입 탐지 | LLM 지침을 재정의하거나 제한된 정보를 노출하려고 시도합니다. | 모든 생성 AI 애플리케이션 및 기능입니다. |
| 중요한 주제 필터 | 직장 안전이나 직원 보상과 같은 AI 응답에 적합하지 않은 주제입니다. | 가상 에이전트대화 기술만 (및 에 고객 서비스 관리사용 HR 서비스 제공 가능). |
- 불쾌감을 주는 콘텐츠
- 생성형 AI의 확률적 특성으로 인해 LLM이 불쾌한 콘텐츠를 생성할 수 있습니다. 요청 입력에 불쾌한 콘텐츠가 있는 경우 응답에도 불쾌한 콘텐츠가 발생할 수 있습니다. 불쾌한 콘텐츠의 예로는 유해하거나 명예를 훼손하거나 사기적인 언어가 있습니다.
불쾌한 콘텐츠가 탐지 Now Assist 가디언 되면 이벤트를 로그에 기록합니다. 컨텐츠를 차단하도록 구성할 수도 있습니다. 이 가드레일은 특정 Now Assist 기술 및 워크플로우에 적용됩니다.
- 프롬프트 삽입
- 프롬프트 삽입은 누군가가 제한된 정보에 액세스하거나 의도하지 않은 동작을 유발하기 위해 LLM의 일반적인 지침을 무시하려고 시도하는 보안 공격 유형입니다. Now Assist 가디언 는 역할극, 의역, 반복, 다른 지침을 무시하라는 지침, 설득 등 다양한 유형의 프롬프트 삽입 기술에 대해 훈련된 LLM을 사용하여 프롬프트 삽입 시도를 탐지합니다. 주:프롬프트 삽입 보호는 인스턴스의 모든 생성형 AI 애플리케이션 및 기능에 적용됩니다. 특정 기술이나 워크플로우로 제한되지 않습니다.모델의 확률적 특성과 진화하는 공격 기술 Now Assist 가디언 로 인해 경우에 따라 모든 프롬프트 삽입 시도를 식별하지 못할 수 있습니다.
- 필터링된 제목
- 직장 안전, 직원 보상 또는 개인 복지와 같은 특정 주제는 생성형 AI 응답에 적합하지 않을 수 있습니다. 대화에서 가상 에이전트 이러한 종류의 주제를 탐지하는 필터를 활성화하고 AI 응답을 생성하는 대신 사용자를 민감도 탐지: 대체 가상 에이전트 주제로 리디렉션할 수 있습니다.주:중요한 주제 필터는 대화 기술에만 가상 에이전트 적용됩니다. 이러한 필터는 및 고객 서비스 관리에서만 사용할 수 있습니다HR 서비스 제공.
로깅 및 차단
Now Assist 가디언 불쾌한 콘텐츠 및 프롬프트 삽입에 대해 탐지된 이벤트를 기록합니다. 다음에서 로그에 액세스할 수 있습니다. . 로그 데이터에는 요청, 불쾌한 콘텐츠가 포함된 대화 및 사용자 피드백에 대한 정보가 포함됩니다.
로깅 외에도 불쾌한 콘텐츠를 차단하거나 삽입 시도를 프롬프트하도록 구성할 Now Assist 가디언 수 있습니다. 차단이 활성화되고 컨텐츠가 탐지되면 생성된 응답 대신 표준 오류 메시지가 표시됩니다. 표준 오류 메시지에는 요청을 완료할 수 없다는 내용이 표시되며 AI가 생성한 내용이 표시되지 않습니다. 차단을 활성화하기 전에 일정 기간 동안의 로그를 검토하여 사용자 환경에서 이러한 문제가 발생하는 빈도를 파악하십시오.
민감한 필터링된 주제에 대한 리디렉션
필터가 민감한 주제 Now Assist 가디언 를 탐지하면 의 민감도 탐지: 대체 주제 가상 에이전트로 리디렉션됩니다. 이 주제는 사용자를 라이브 에이전트로 리디렉션하거나 케이스 생성에 도움을 줄 수 있습니다.HR
Now Assist 가디언 런타임 시
요청이 LLM에 전달되기 전에 PII(개인 식별 정보)를 제거하는 데 사용하는 Now Assist 가디언 모든 기술입니다. 익명화되는 데이터 유형을 구성할 수 있습니다. 자세한 내용은 데이터 개인정보 보호를 위한 Now Assist 구성을 참조하십시오.
대화 기술의 경우, 시맨틱 검색은 필터가 탐지되었는지 여부를 확인하는 요청을 처리합니다. 케이스를 만들 HR 것인지 아니면 라이브 에이전트와 대화할 것인지 묻는 주제로 가상 에이전트 사용자가 리디렉션됩니다.
카탈로그 항목 생성과 에이전트 기술(예: 요약 및 해결 메모 생성)의 경우, 불쾌한 콘텐츠 및 프롬프트 삽입 가드레일이 요청의 입력 및 출력에서 실행됩니다. 둘 중 하나가 탐지되면 Now Assist 가디언 요청을 로깅합니다. 이 콘텐츠를 차단하도록 선택하면 표준 오류 메시지가 표시되고 사용자는 요청 결과를 볼 수 없습니다.
로그에 Now Assist 가디언 캡처된 안전 범주
|
범주 |
범주 ID |
설명 |
|---|---|---|
|
유해한 콘텐츠 |
O1 |
혐오 발언을 조장하거나, 아동 학대 또는 괴롭힘과 같은 폭력을 선동하거나, 인신 공격 또는 괴롭힘에 가담해서는 안 됩니다. 할 수 있음: 교육 목적으로 유해한 콘텐츠와 관련된 영향 및 사회적 문제에 대해 논의합니다. |
|
불공정한 표현 |
O2 |
해서는 안 된다: 고정관념을 영속시키거나 차별 또는 편견을 조장하는 데 도움을 줍니다. 할 수 있음: 대표성 문제를 논의하고 인식과 포용성을 증진합니다. |
|
성인용 콘텐츠 |
O3 |
해서는 안 된다: 음란물, 에로틱한 채팅, 성행위를 포함하여 미성년자에게 부적합한 성적으로 노골적인 자료 또는 콘텐츠를 표시합니다. 할 수 있음: 성 및 동의와 관련된 주제에 대한 교육적 토론을 제공합니다. |
|
공공 정보에 대한 신뢰 훼손 |
O4 |
해서는 안 되어서는 안 됩니다: 오해의 소지가 있는 의학적 조언, 불법 약물 및 조언과 같이 대중의 신뢰를 훼손하는 잘못된 정보 또는 허위 정보를 퍼뜨리는 행위. 할 수 있다: 잘못된 정보 추세를 비판적으로 분석하고 미디어 리터러시에 대해 교육합니다. |
|
오해/거짓 신념 전파 |
O5 |
확인되지 않은 오해의 소지가 있는 정보, 음모론, 과학 부정주의, 역사 수정주의 또는 급진화로 이어질 수 있는 콘텐츠를 유포해서는 안 됩니다. 할 수 있음: 일반적인 오해와 잘못된 신념에 대한 비판적 분석과 폭로를 제공합니다. |
|
위험한 금융 관행 |
O6 |
해서는 안 되어서는 안 됩니다: 다단계 마케팅, 기만적인 대출 관행 또는 도박과 같은 비윤리적인 거래 관행을 조장합니다. 할 수 있음: 관련 위험, 윤리적 대출, 책임감 있는 도박, 무역 준수 및 공정한 비즈니스 관행에 대해 교육합니다. |
|
거래 및 규정 준수 |
O7 |
해서는 안 됩니다: 노동 문제와 관련되거나, 비윤리적인 무역 업무에 관여하거나, 불공정한 노동 관행에 기여하거나, 사기성 무역 관행을 조장하는 행위. 할 수 있음: 노동 문제, 윤리적 거래 관행, 무역 준수 및 공정한 비즈니스 행위에 대한 정보와 통찰력을 제공합니다. |
|
위험한 정보 유포 |
O8 |
가짜 뉴스를 퍼뜨리거나, 소셜 미디어 루머를 전파하거나, 정부 기밀을 공개하거나, 금융 데이터 및 대중의 공황 또는 국가 안보에 기여하는 기타 콘텐츠를 유출해서는 안 됩니다. 할 수 있다: 그러한 정보의 위험성에 대해 교육하고 안전을 증진합니다. |
|
개인정보 침해 |
O9 |
해서는 안 되는 것: 신상 털기, 무단 데이터 공유 또는 개인 정보 유추 또는 유출과 같은 감시를 포함합니다. 할 수 있음: 개인정보 보호 권리와 디지털 보안의 중요성에 대해 토론합니다. |
|
보안 위협 |
O10 |
해서는 안 된다: 멀웨어를 퍼뜨리거나 테러 또는 무기 생성, 사이버 공격 또는 화학적 피해와 같은 기타 보안 위협을 조장합니다. 할 수 있음: 보안 위협을 식별하고 완화하기 위한 정보와 방법을 제공합니다. |
|
명예 훼손 |
O11 |
해서는 안 된다: 개인, 그룹 또는 조직에 해를 끼치는 허위 진술을 게시합니다. 할 수 있다: 명예훼손과 언론의 자유에 대한 법적, 윤리적 측면을 탐구합니다. |
|
사기 또는 기만 행위 |
O12 |
해서는 안 됩니다: 학문적 부정직에 가담하거나, 사기를 저지르거나, 사이비 의약품을 홍보하거나, 가짜 온라인 콘텐츠를 유포합니다. 콘텐츠는 개인을 속이거나 사기해서는 안 됩니다. 할 수 있음: 사기 행위 인식 및 방지에 대해 교육합니다. |
|
영향 운영 |
O13 |
해서는 안 된다: 감시나 캠페인과 같은 정치적 또는 이념적 목적을 위해 여론을 조작하거나 사회적 화합을 방해하는 행위. 할 수 있음: 영향 운영의 특성과 영향에 대해 분석하고 교육합니다. |
|
불법 활동 |
O14 |
해서는 안 된다: 범죄나 테러와 같은 불법 행위에 관여하는 것을 홍보하거나 지침을 제공합니다. 할 수 있다: 불법 활동의 결과와 예방에 대해 교육합니다. |
|
설득 및 조작 |
O15 |
해서는 안 되어서는 안 됩니다: 자해, 심리적 조작 또는 개인의 복지에 대한 모든 형태의 해를 조장하는 설득 또는 조작 기술을 포함합니다. 할 수 있음: 조작을 인식하고 저항하는 방법에 대해 교육하고 영향을 받는 사람들에게 지원과 자원을 제공합니다. |
|
개인 재산 침해 |
O16 |
해서는 안 됩니다: 개인의 개인 재산을 침해하거나 악의적으로 모방, 표절, 저작권 침해 또는 신원 위조를 행위하는 행위. 할 수 있음: 개인 재산 존중 및 그러한 위반 방지에 대한 인식과 토론을 촉진합니다. |