DIA-7 - Ciberseguridad en Modelos de Inteligencia Artificial
Control de seguridad en el ciclo de vida de modelos de IA/ML y protección de datos de entrenamiento
Definición de Control
Es necesario establecer controles de seguridad y uso responsable para el desarrollo, implementación y operación de modelos de inteligencia artificial, evaluando los riesgos de seguridad, privacidad, sesgo y cumplimiento regulatorio antes de adoptar cualquier modelo y requiriendo aprobación formal para los de mayor riesgo. Es necesario prevenir la exposición de datos personales o confidenciales en las interacciones con modelos de IA, tanto en las entradas como en las salidas, y restringir el uso de información organizacional para el reentrenamiento de modelos de terceros. Es necesario incorporar las vulnerabilidades propias de la IA en los programas de evaluación de seguridad, y gestionar la cadena de suministro de los modelos utilizados.
Requisitos
Requisito 1
Establecemos controles de seguridad y uso responsable para el desarrollo, implementación y operación de modelos de IA en la organización.
Requisito 2
Realizamos una evaluación de riesgos antes de adoptar o desplegar cualquier modelo de IA, ya sea desarrollado internamente, mediante APIs de terceros o modelos open source.
Requisito 3
Analizamos en la evaluación de riesgos: riesgos de seguridad, privacidad, sesgo, equidad y cumplimiento regulatorio.
Requisito 4
Requerimos aprobación del comité de gobernanza antes del despliegue de modelos de IA de alto riesgo.
Requisito 5
Prohibimos incluir datos personales o confidenciales en prompts enviados a modelos de IA externos sin evaluación previa.
Requisito 6
Restringimos el uso de datos organizacionales para el reentrenamiento de modelos de terceros.
Requisito 7
Gestionamos la cadena de suministro de modelos de IA evaluando a proveedores, APIs de terceros y modelos open source.
Requisito 8
Implementamos controles de filtrado de outputs para prevenir la exfiltración de datos mediante sistemas de IA.
Requisito 9
Incluimos las vulnerabilidades específicas de IA (prompt injection, jailbreaking, model inversion, entre otras...) en los programas de evaluación de seguridad.
Requisito 10
Protegemos que los datos no sean usados para reentrenamiento de la IA.