Now Assist ガーディアン 解析学
Now Assist ガーディアンによって有効化されたガードレールのパフォーマンスを監視します。
Now Assist ガーディアンアナリティクスダッシュボードは、アドミニストレーターが大規模言語モデル (LLM) に送信された要求とその応答を追跡および分析する際に、不快なコンテンツの有効性を監視および評価し、プロンプトインジェクションガードレールを作成するのに役立ちます。
Now Assist ガーディアンダッシュボードページのインジケーターは、次のインサイトを提供します。
- アクティブな不快なコンテンツとプロンプトインジェクションガードレールの結果としての平均レイテンシ。レイテンシーが高いということは、期間中のガードレール活動の増加を意味する可能性があります。
- 不快なコンテンツとプロンプトインジェクションの発生回数と割合。
- 不快なコンテンツとプロンプトインジェクションの発生が検出されたスキル。
ダッシュボードのフィルターを適用して、日付範囲内のスキルのガードレールアクティビティを表示します。各インジケーターの背後にあるデータと計算の詳細については、 Now Assist アナリティクス ダッシュボードインジケーターの詳細 を参照してください。
不快なコンテンツインジケーター
- ガードレールによって遅延が加わる
- ダッシュボードのこの領域には、選択したスキルと日付範囲における、アクティブな不快なコンテンツガードレールの結果としての平均レイテンシが表示されます。
図 : 2. ガードレール追加された遅延インジケーター - 不快としてフラグが立てられた割合
- ダッシュボードのこの領域には、不快なコンテンツとしてフラグが立てられた、LLM サービスとの間で送受信された要求と応答の割合が表示されます。
図 : 3. 不快なインジケーターとしてフラグが立てられた割合 - 不快なコンテンツの合計発生件数
- ダッシュボードのこの領域には、選択したスキルと日付範囲で不快なコンテンツが発生した合計回数が表示されます。
図 : 4. 不快なコンテンツの発生インジケーターの合計数 - 不快なコンテンツのカテゴリ
- ダッシュボードのこの領域には、不快なコンテンツの発生の内訳がカテゴリ別に表示されます。コンテンツが複数のカテゴリで攻撃的であると見なされた場合(有害で中傷的など)、その発生は両方のカテゴリに個別にカウントされます。不快なコンテンツのカテゴリの詳細については、「 Now Assist Guardian」を参照してください。
図 : 5. 不快なコンテンツインジケーターのカテゴリ - スキル別の不快なコンテンツの発生件数
- ダッシュボードのこの領域には、コンテンツが検出されたスキル別の経時的な不快なコンテンツの発生回数が表示されます。
図 : 6. スキルインジケーター別の不快なコンテンツの発生
プロンプトインジェクションインジケーター
- ガードレールによって遅延が加わる
- ダッシュボードのこの領域には、選択したスキルと日付範囲のアクティブなプロンプトインジェクションガードレールの結果としての平均レイテンシが表示されます。
図 : 7. ガードレール追加された遅延インジケーター - プロンプトインジェクションとしてフラグが付けられた割合
- ダッシュボードのこの領域には、不快なコンテンツとしてフラグが立てられた、LLM サービスとの間で送受信された要求と応答の割合が表示されます。
図 : 8. プロンプトインジェクションインジケーターとしてフラグが付けられた割合 - プロンプトインジェクション合計発生件数
- ダッシュボードのこの領域には、選択したスキルと日付範囲で不快なコンテンツが発生した合計回数が表示されます。
図 : 9. プロンプトインジェクション合計発生インジケーター - スキル別のプロンプトインジェクション発生件数
- ダッシュボードのこの領域には、プロンプトインジェクションの試行が検出されたスキル別の経時的なプロンプトインジェクションの発生回数が表示されます。
図 : 10. スキルインジケーター別のプロンプトインジェクション発生