Now Assist Guardian Analytics
Überwachen Sie die Leistung von Schutzmaßnahmen, die durch Now Assist Guardianaktiviert werden.
Das Analytics-Dashboard Now Assist Guardian hilft Administratoren, die Effektivität von anstößigen Inhalten und Schutzmaßnahmen für die Eingabeaufforderung bei der Nachverfolgung und Analyse von Anforderungen, die an große Sprachmodelle (LLM) gesendet werden, und deren Antworten zu überwachen und zu bewerten.
Die -Indikatoren auf der Seite des -Dashboards Now Assist Guardian bieten die folgenden Einblicke.
- Durchschnittliche Latenz als Ergebnis aktiver anstößiger Inhalte und Einschleusungsschutzmaßnahmen. Eine hohe Latenz kann eine erhöhte Aktivität von Schutzmaßnahmen im Zeitraum bedeuten.
- Anzahl und Prozentsatz der anstößigen Inhalte und der Eingabeaufforderungsinjektionen.
- Kompetenzen, bei denen anstößige Inhalte und Eingabeaufforderungsinjektionen erkannt wurden.
Wenden Sie die Filter im Dashboard an, um die Schutzmaßnahmenaktivität für Kompetenzen in einem Datumsbereich anzuzeigen. Informationen zu den Daten und Berechnungen hinter den einzelnen Indikatoren finden Sie unter Now Assist Analytics Dashboard-Indikatordetails.
Indikatoren für anstößige Inhalte
- Von Schutzmaßnahmen hinzugefügte Latenz
- In diesem Bereich des Dashboards wird die durchschnittliche Latenz als Ergebnis des aktiven Schutzplans für anstößige Inhalte für die ausgewählten Kompetenzen und den ausgewählten Datumsbereich angezeigt.
Abbildung : 2. Von Schutzmaßnahmen hinzugefügter Latenzindikator - Als anstößig gekennzeichneter Prozentsatz
- In diesem Bereich des Dashboards wird der Prozentsatz der Anforderungen und Antworten an den und vom LLM-Service angezeigt, die für anstößige Inhalte gekennzeichnet sind.
Abbildung : 3. Prozentsatz, der als anstößiger Indikator gekennzeichnet ist - Gesamtzahl der anstößigen Inhalte
- In diesem Bereich des Dashboards wird die Gesamtanzahl der anstößigen Inhalte für die ausgewählten Kompetenzen und den ausgewählten Datumsbereich angezeigt.
Abbildung : 4. Indikator für die Gesamtzahl der anstößigen Inhalte - Kategorien von anstößigen Inhalten
- In diesem Bereich des Dashboards wird eine Aufgliederung der anstößigen Inhalte nach Kategorien angezeigt. Wenn Inhalte in mehr als einer Kategorie als anstößig eingestuft werden, z. B. toxisch und verleumderisch, wird das Vorkommen für beide Kategorien einzeln gezählt. Weitere Informationen zu anstößigen Inhaltskategorien finden Sie unter Now Assist Guardian.
Abbildung : 5. Kategorien des Indikators für anstößige Inhalte - Vorkommen anstößiger Inhalte nach Kompetenz
- In diesem Bereich des Dashboards wird die Anzahl der Vorkommen von anstößigen Inhalten im Zeitverlauf anhand der Kompetenzen angezeigt, in denen der Inhalt erkannt wurde.
Abbildung : 6. Vorkommen anstößiger Inhalte nach Kompetenzindikator
Indikatoren für Aufforderungsinjektionen
- Von Schutzmaßnahmen hinzugefügte Latenz
- In diesem Bereich des Dashboards wird die durchschnittliche Latenz als Ergebnis des aktiven Schutzmaßnahmenschutzes für die Eingabeaufforderungsinjektion für die ausgewählten Kompetenzen und den ausgewählten Datumsbereich angezeigt.
Abbildung : 7. Von Schutzmaßnahmen hinzugefügter Latenzindikator - Prozentsatz, der als sofortige Einschleusung gekennzeichnet ist
- In diesem Bereich des Dashboards wird der Prozentsatz der Anforderungen und Antworten an den und vom LLM-Service angezeigt, die für anstößige Inhalte gekennzeichnet sind.
Abbildung : 8. Prozentsatz, der als Indikator für die Aufforderungsinjektion gekennzeichnet ist - Gesamtzahl der Vorkommen der Eingabeaufforderungsinjektion
- In diesem Bereich des Dashboards wird die Gesamtanzahl der anstößigen Inhalte für die ausgewählten Kompetenzen und den ausgewählten Datumsbereich angezeigt.
Abbildung : 9. Indikator für das Vorkommen der Prompteinschleusung insgesamt - Aufforderungsinjektionsvorkommen nach Kompetenz
- In diesem Bereich des Dashboards wird die Anzahl der Aufforderungseinschleusungen im Zeitverlauf nach den Kompetenzen angezeigt, für die Aufforderungseinschleusungen erkannt wurden.
Abbildung : 10. Aufforderungsinjektionsvorkommen nach Kompetenzindikator