RiesgoCómo se manifiestaMitigaciónQuién vigila
R1
Sesgo y trato desigual
Cómo se manifiestaCalidad distinta de las respuestas o del enrutamiento para algunos grupos, idiomas o regiones.
Mitigación- Calidad probada por idioma y grupo con solicitudes reales
- Los agentes proponen; los funcionarios deciden en todo lo que afecta a derechos
- Revisión periódica por muestreo a cargo de auditoría
Quién vigilaAuditoría y delegado de protección de datos
R2
Alucinación
Cómo se manifiestaUna respuesta segura o una cita que no existe.
Mitigación- Respuestas solo a partir de sus fuentes indexadas, con cita y enlace
- Sin fuente no hay respuesta: el agente dice que no lo sabe
- Las pruebas de referencia bloquean las versiones que empeoran
Quién vigilaTramitadores y TI
R3
Fuga de datos
Cómo se manifiestaDatos personales que llegan a alguien sin permiso o salen de la jurisdicción.
Mitigación- Despliegue aislado o en el país
- Acceso hasta el nivel de filas y campos, heredado de su directorio
- Enmascaramiento y registro completo de accesos
Quién vigilaTI y seguridad
R4
Manipulación del agente
Cómo se manifiestaUn texto en una solicitud o documento intenta cambiar las instrucciones del agente.
Mitigación- Filtrado de entradas y separación entre instrucciones y contenido
- Los agentes no pueden ampliar sus propios permisos
- Las acciones de riesgo siempre requieren a una persona
Quién vigilaTI y seguridad
R5
Exceso de confianza
Cómo se manifiestaLos funcionarios aprueban borradores sin leerlos.
Mitigación- Fuentes visibles junto a cada afirmación
- Controles aleatorios y métricas de reelaboración por usuario
- Formación del personal en la puesta en marcha
Quién vigilaJefes de unidad
R6
Dependencia del proveedor
Cómo se manifiestaEl organismo no puede cambiar de proveedor o de modelo sin empezar de cero.
Mitigación- Funciona en su infraestructura; los modelos son intercambiables
- Datos, prompts y registros exportables en formatos abiertos
- Documentación y transferencia de conocimiento a su equipo
Quién vigilaCIO y contratación