RisikoWie es sich zeigtGegenmaßnahmeWer überwacht
R1
Verzerrung und Ungleichbehandlung
Wie es sich zeigtUnterschiedliche Qualität von Antworten oder Weiterleitung für bestimmte Gruppen, Sprachen oder Regionen.
Gegenmaßnahme- Qualität je Sprache und Gruppe an echten Anliegen getestet
- Agenten schlagen vor, bei allem, was Rechte berührt, entscheiden Amtsträger
- Regelmäßige Stichprobenprüfung durch die Revision
Wer überwachtRevision & Datenschutzbeauftragter
R2
Halluzination
Wie es sich zeigtEine selbstsichere Antwort oder ein Zitat, das es nicht gibt.
Gegenmaßnahme- Antworten nur aus Ihren indexierten Quellen, mit Zitat und Link
- Keine Quelle, keine Antwort – der Agent sagt, dass er es nicht weiß
- Referenztests blockieren Releases mit schlechterer Qualität
Wer überwachtSachbearbeitung & IT
R3
Datenabfluss
Wie es sich zeigtPersonenbezogene Daten gelangen an Unberechtigte oder verlassen den Rechtsraum.
Gegenmaßnahme- Betrieb Air-Gapped oder im Land
- Zugriff bis auf Zeilen und Felder, übernommen aus Ihrem Verzeichnisdienst
- Maskierung und vollständige Zugriffsprotokolle
Wer überwachtIT & Sicherheit
R4
Manipulation des Agenten
Wie es sich zeigtText in einem Anliegen oder Dokument versucht, die Anweisungen des Agenten zu ändern.
Gegenmaßnahme- Eingabefilterung und Trennung von Anweisungen und Inhalten
- Agenten können ihre eigenen Rechte nicht erweitern
- Riskante Aktionen erfordern immer einen Menschen
Wer überwachtIT & Sicherheit
R5
Übermäßiges Vertrauen
Wie es sich zeigtAmtsträger geben Entwürfe frei, ohne sie zu lesen.
Gegenmaßnahme- Quellen neben jeder Aussage angezeigt
- Stichproben und Nacharbeitskennzahlen je Nutzer
- Schulung der Mitarbeitenden zum Start
Wer überwachtLeitungen der Einheiten
R6
Herstellerabhängigkeit
Wie es sich zeigtDie Behörde kann Anbieter oder Modell nicht wechseln, ohne von vorn zu beginnen.
Gegenmaßnahme- Läuft auf Ihrer Infrastruktur; Modelle sind austauschbar
- Daten, Prompts und Protokolle in offenen Formaten exportierbar
- Dokumentation und Wissenstransfer an Ihr Team
Wer überwachtCIO & Beschaffung