AI コントロールタワーの [健全性] タブ
Now Assist ガーディアンによって有効化されたガードレールのパフォーマンスを監視します。
AI コントロールタワーダッシュボードの [健全性] タブは、ServiceNow AI 資産でアクティブな不快なコンテンツとプロンプトインジェクションガードレールの有効性を監視および評価するのに役立ちます。
[健全性] タブの可視化により、次のインサイトが得られます。
- アクティブな不快なコンテンツとプロンプトインジェクションガードレールの結果としての平均レイテンシ。遅延が高いということは、期間中のガードレール活動の増加を意味する可能性があります。
- 不快なコンテンツとプロンプトインジェクションの発生回数と割合。
- 不快なコンテンツとプロンプトインジェクションの発生が検出されたスキル。
ダッシュボードでは、健全性メトリクスの履歴データは考慮されません。
ダッシュボードのフィルターを適用して、日付範囲内のスキルのガードレールアクティビティを表示します。
コンテンツガードレールの有効性
- フラグ付けされたコンテンツアイテムの数
- ダッシュボードのこの領域には、選択した日付範囲内に不快なコンテンツとプロンプトインジェクションが発生した回数が表示されます。
図 : 2. フラグ付けされたコンテンツアイテムの数 - 合計使用量のうちフラグが立てられたコンテンツアイテムの割合
- ダッシュボードのこの領域には、大規模言語モデル (LLM) サービスとの間で送受信された要求と応答のうち、攻撃性とプロンプトインジェクションのフラグが付けられたものの割合が表示されます。
図 : 3. 合計使用量のうちフラグが立てられたコンテンツアイテムの割合
不快なコンテンツの可視化
- ガードレールによって遅延が加わる
- ダッシュボードのこの領域には、選択したスキルと日付範囲における、アクティブな不快なコンテンツガードレールの結果としての平均レイテンシが表示されます。
図 : 4. ガードレールによって追加された攻撃性のレイテンシ - 不快としてフラグが立てられた割合
- ダッシュボードのこの領域には、大規模言語モデル (LLM) サービスとの間で送受信された要求と応答のうち、不快なコンテンツのフラグが立てられたものの割合が表示されます。
図 : 5. 不快としてフラグが立てられた割合 - 不快なコンテンツの合計発生件数
- ダッシュボードのこの領域には、選択したスキルと日付範囲で不快なコンテンツが発生した合計回数が表示されます。
図 : 6. 不快なコンテンツの合計発生件数 - 不快なコンテンツのカテゴリ
- ダッシュボードのこの領域には、カテゴリ別の不快なコンテンツの発生の内訳が表示されます。コンテンツが複数のカテゴリ (有害や中傷など) で不快であると判断された場合、その発生は両方のカテゴリに個別にカウントされます。不快なコンテンツのカテゴリの詳細については、「 」を参照してください。
図 : 7. 不快なコンテンツのカテゴリ - スキル別の不快なコンテンツの発生回数
- ダッシュボードのこの領域には、コンテンツが検出されたスキル別の経時的な不快なコンテンツの発生回数が表示されます。
図 : 8. スキル別の不快なコンテンツの発生件数
プロンプトインジェクションの可視化
- ガードレールによって遅延が加わる
- ダッシュボードのこの領域には、選択したスキルと日付範囲のアクティブなプロンプトインジェクションガードレールの結果としての平均レイテンシが表示されます。
図 : 9. プロンプトインジェクションのガードレールによる遅延の追加 - プロンプトインジェクションとしてフラグた立てられた割合
- ダッシュボードのこの領域には、不快なコンテンツとしてフラグが立てられた、LLM サービスとの間で送受信された要求と応答の割合が表示されます。
図 : 10. プロンプトインジェクションとしてフラグが付けられた割合 - プロンプトインジェクション合計発生件数
- ダッシュボードのこの領域には、選択したスキルと日付範囲で不快なコンテンツが発生した合計回数が表示されます。
図 : 11. プロンプトインジェクション合計発生件数 - スキル別のプロンプトインジェクション発生回数
- ダッシュボードのこの領域には、プロンプトインジェクションの試行が検出されたスキル別の経時的なプロンプトインジェクションの発生回数が表示されます。
図 : 12. スキル別のプロンプトインジェクション発生回数