Now Assist Guardian の概要

生成AIは新しいテクノロジーです。人間の相互作用は予測不可能であり、大規模言語モデル (LLM) によって生成される出力は確率的であり、確率に基づいています。同じ入力を 2 回実行すると、2 つの異なる出力が生成される場合があります。リスク管理は、インスタンスに生成 AI を実装する方法を決定する上で重要な要素です。

Now Assist Guardian は、LLM に送信された要求とその応答を監視して、ユーザー、ユーザー、データの保護に役立てます。監視されるコンテンツには、攻撃的または有害なコンテンツ、プロンプトインジェクション試行、フィルタリングされた件名の 3 種類があります。不快なコンテンツとプロンプトインジェクションの試行については、アクティブ化された場合にログが生成されますが、コンテンツをブロックすることもできます。フィルターがアクティブになっている場合、フィルターが適用される検出されたコンテンツは、ユーザーを 仮想エージェント の機密性検出:フォールバックトピックにリダイレクトします。

ガードレール

不快なコンテンツ

生成 AI の確率的な性質により、LLM が不快なコンテンツを生成する可能性があります。要求の入力に不快なコンテンツが含まれている場合、応答でも不快なコンテンツが発生する可能性があります。不快なコンテンツの例としては、有害な言葉、中傷的な言葉、詐欺的な言葉などがあります。

プロンプトインジェクション

プロンプトインジェクションは、攻撃者が LLM の通常の指示を上書きして制限された情報にアクセスしたり、予期しない動作を引き出したりするセキュリティ攻撃の一種です。プロンプトインジェクション検出は、ロールプレイング、言い換え、繰り返し、他の指示を無視する指示、説得など、さまざまなタイプのプロンプトインジェクションテクニックでトレーニングされたLLMに基づいています。ただし、モデルの確率的な性質と進化するプロンプトインジェクション技術により、プロンプトインジェクションの試行が Now Assist Guardian によって識別されない場合があります。

フィルター対象

職場の安全性や従業員の報酬などの特定のテーマは、生成 AI の会話に最適ではない場合があります。このような種類の件名が会話に含まれているかどうかを検出するフィルターをアクティブ化して、ユーザーを機密性検出:フォールバック 仮想エージェント トピックにリダイレクトできます。

ログ記録とブロック

Now Assist Guardian は要求を監視し、この種の資料が検出されたときにログに記録できます。ログには、[設定] タブの Now Assist Guardian ページの Now Assist アドミンコンソールからアクセスできます。ログに含まれるデータには、ユーザーフィードバックなど、不快なコンテンツを含む要求と会話に関する情報が含まれます。

ログ記録に加えて、不快なコンテンツをブロックしたり、インジェクションの試行を促したりすることもできます。材料が検出され、ブロッキングがオンになっている場合は、生成された応答の代わりに標準のエラーメッセージが表示されます。このメッセージは、要求を完了できなかったことを示す標準的なエラーメッセージであり、AI が生成した内容は表示されません。

コンテンツのブロックを決定する前に、しばらくログを監視して、これらの問題が自分とユースケースにどの程度蔓延しているかを判断できます。

機密性の高いフィルター済みトピックのリダイレクト

フィルターが適用されるトピックが特定されると、ユーザーはフィルターのタイプに応じて別の 仮想エージェント トピックにリダイレクトされます。従業員の個人的な問題などの件名のフィルターは、「機密性検出:フォールバック」トピックにリダイレクトされます。このトピックでは、ユーザーをライブエージェントにリダイレクトしたり、HR ケースの作成を支援したりできます。

実行時の Now Assist Guardian

Now Assist Guardian を使用するすべてのスキルは、要求が LLM に到達する前に個人識別可能情報 (PII) を削除します。取得するデータの種類を選択できます。詳細については、「 Now Assist for Data Privacy の構成 」を参照してください。

会話型スキルの場合、セマンティック検索は要求を処理して、フィルターが検出されたかどうかを判断します。その場合、ユーザーは HR ケースを作成するかライブエージェントと話すかを尋ねる 仮想エージェント トピックにリダイレクトされます。

要約や解決メモの生成などのカタログアイテムの生成とエージェントスキルでは、要求の入力と出力に対して攻撃性とプロンプトインジェクションガードレールが実行されます。いずれかが検出された場合、Now Assist Guardian は要求をログに記録します。このコンテンツのブロックを選択した場合は、標準エラーメッセージが表示され、ユーザーには要求の結果が表示されません。

安全カテゴリ

Now Assist Guardian をサポートするスキル