Now Assist ガーディアン アナリティクス
Now Assist ガーディアンによって有効化されたガードレールのパフォーマンスを監視します。
Now Assist ガーディアンアナリティクスダッシュボードは、アドミンが大規模言語モデル (LLM) に送信された要求とその応答を追跡および分析する際に、不快なコンテンツとプロンプトインジェクションガードレールの有効性を監視および評価するのに役立ちます。
Now Assist ガーディアンダッシュボードページのインジケーターは、次のインサイトを提供します。
- アクティブな不快なコンテンツとプロンプトインジェクションガードレールの結果としての平均レイテンシ。遅延が高いということは、期間中のガードレール活動の増加を意味する可能性があります。
- 不快なコンテンツとプロンプトインジェクションの発生回数と割合。
- 不快なコンテンツとプロンプトインジェクションの発生が検出されたスキル。
ダッシュボードのフィルターを適用して、日付範囲内のスキルのガードレールアクティビティを表示します。各インジケーターの背後にあるデータと計算の詳細については、「 Now Assist アナリティクス ダッシュボードインジケーターの詳細 」を参照してください。
不快なコンテンツインジケーター
- ガードレールが追加したレイテンシ
- ダッシュボードのこの領域には、選択したスキルと日付範囲における、アクティブな不快なコンテンツガードレールの結果としての平均レイテンシが表示されます。
図 : 2. ガードレールが追加されたレイテンシインジケーター - 不快としてフラグが立てられた割合
- ダッシュボードのこの領域には、不快なコンテンツとしてフラグが立てられた、LLM サービスとの間で送受信された要求と応答の割合が表示されます。
図 : 3. 不快なインジケーターとしてフラグが立てられた割合 - 不快なコンテンツの合計発生件数
- ダッシュボードのこの領域には、選択したスキルと日付範囲で不快なコンテンツが発生した合計回数が表示されます。
図 : 4. 不快なコンテンツの合計発生件数インジケーター - 不快なコンテンツのカテゴリ
- ダッシュボードのこの領域には、カテゴリ別の不快なコンテンツの発生の内訳が表示されます。コンテンツが複数のカテゴリ (有害や中傷など) で不快であると判断された場合、その発生は両方のカテゴリに個別にカウントされます。不快なコンテンツのカテゴリの詳細については、「 」を参照してください。
図 : 5. 不快なコンテンツインジケーターのカテゴリ - スキル別の不快なコンテンツの発生回数
- ダッシュボードのこの領域には、コンテンツが検出されたスキル別の経時的な不快なコンテンツの発生回数が表示されます。
図 : 6. スキルインジケーター別の不快なコンテンツの発生
プロンプトインジェクションインジケーター
- ガードレールが追加したレイテンシ
- ダッシュボードのこの領域には、選択したスキルと日付範囲のアクティブなプロンプトインジェクションガードレールの結果としての平均レイテンシが表示されます。
図 : 7. ガードレールが追加されたレイテンシインジケーター - プロンプトインジェクションとしてフラグた立てられた割合
- ダッシュボードのこの領域には、不快なコンテンツとしてフラグが立てられた、LLM サービスとの間で送受信された要求と応答の割合が表示されます。
図 : 8. プロンプトインジェクションインジケーターとしてフラグが付けられたパーセンテージ - プロンプトインジェクション合計発生件数
- ダッシュボードのこの領域には、選択したスキルと日付範囲で不快なコンテンツが発生した合計回数が表示されます。
図 : 9. プロンプトインジェクションの合計発生件数インジケーター - スキル別のプロンプトインジェクション発生回数
- ダッシュボードのこの領域には、プロンプトインジェクションの試行が検出されたスキル別の経時的なプロンプトインジェクションの発生回数が表示されます。
図 : 10. スキルインジケーター別のプロンプトインジェクション発生数