Pruebas de seguridad de la IA: guía práctica para equipos de seguridad

Las pruebas de seguridad de la IA (AI safety testing) son el proceso de evaluar el comportamiento de un modelo de machine learning, antes y después del despliegue, para encontrar dónde produce salidas dañinas, sesgadas, poco fiables o explotables. En la práctica significa sondear el modelo de forma adversarial (red teaming), medir su rendimiento en casos límite y en distintos grupos demográficos, y documentar los modos de fallo conocidos para que los usuarios posteriores entiendan los riesgos. A diferencia del control de calidad del software tradicional, que comprueba si el código hace lo que se escribió para hacer, las pruebas de seguridad de la IA comprueban si un modelo hace algo que nunca pretendiste.

Qué significa de verdad la seguridad de la IA

La seguridad de la IA (AI safety) es la disciplina que se ocupa de que los sistemas de IA se comporten como se pretende y no causen daños no deseados: desde un chatbot que filtra datos de entrenamiento hasta un modelo antifraude que deniega sistemáticamente préstamos a un grupo demográfico. Se divide en dos grandes preocupaciones: la seguridad inmediata (sesgos, inyección de prompts, fuga de datos, alucinaciones, jailbreaks) y la seguridad a largo plazo (la alineación de los sistemas muy capaces con la intención humana).

La conocida advertencia de Stephen Hawking pertenece al segundo grupo. En una entrevista con la BBC en 2014 dijo que «the development of full artificial intelligence could spell the end of the human race» («el desarrollo de una inteligencia artificial completa podría significar el fin de la raza humana»), con el argumento de que un sistema capaz de rediseñarse a sí mismo podría superar a la lenta evolución biológica. Tanto si te convence el planteamiento existencial como si no, la conclusión práctica para los equipos de seguridad es la misma: los sistemas capaces pueden comportarse de formas que sus creadores no previeron, así que pruebas el fallo que no diseñaste.

Cómo hacer de verdad pruebas de seguridad de la IA

Trátalo como una evaluación de seguridad estructurada, no como una impresión. Una secuencia que funciona:

• Define el uso previsto y los casos de abuso. Escribe para qué sirve el modelo y, sobre todo, qué no debe hacer nunca (por ejemplo, revelar datos personales, generar malware o dar indicaciones de dosis médicas).
• Haz red teaming del modelo. Intenta la inyección de prompts, los jailbreaks, la extracción de datos y las entradas adversariales. Asocia los hallazgos al OWASP Top 10 for LLM Applications, que nombra riesgos concretos como LLM01:2025 Prompt Injection y LLM02:2025 Sensitive Information Disclosure (numerado LLM06 en la lista anterior de 2023).
• Prueba los sesgos y el rendimiento desigual. Mide la precisión por segmentos demográficos, no solo en conjunto. Un modelo que parece preciso en general puede serlo bastante menos para un subgrupo.
• Fuerza los casos límite y el cambio de distribución. Introduce entradas fuera de la distribución de entrenamiento y confirma que el modelo se degrada de forma segura en lugar de alucinar con aplomo.
• Documéntalo todo en una model card. Las model cards, introducidas por Mitchell et al. (2019) en Google, se usan hoy ampliamente (los repositorios de modelos de Hugging Face se construyen en torno a ellas) para registrar el uso previsto de un modelo, sus métricas de rendimiento, las consideraciones éticas y las limitaciones conocidas. Si un modelo llega a producción sin una, tus pruebas de seguridad no han terminado: simplemente no están documentadas.

Alinea todo el programa con un marco para que sea auditable: el NIST AI Risk Management Framework (AI RMF 1.0, 2023) organiza este trabajo en cuatro funciones (Govern, Map, Measure, Manage) y te da una estructura defendible cuando los reguladores o tu consejo preguntan cómo evaluaste el riesgo. En el lado de las amenazas, la ISO/IEC 27090:2026 es la primera norma internacional dedicada a las amenazas de seguridad de la IA, y su catálogo (envenenamiento, evasión, inversión del modelo, inyección de prompts) sirve también como checklist de casos de prueba.

Métodos y herramientas de pruebas de seguridad de la IA

Las pruebas de seguridad de la IA combinan cuatro métodos, y cada uno atrapa fallos que los otros pasan por alto: el red teaming adversarial, las evaluaciones con benchmarks, el escaneo automatizado y la monitorización tras el despliegue.

• Red teaming. Personas que intentan deliberadamente que el modelo se comporte mal mediante jailbreaks, inyección de prompts, extracción de datos y peticiones de contenido dañino, partiendo de tus casos de abuso por escrito.
• Evaluaciones con benchmarks. Conjuntos de pruebas repetibles que miden la precisión, el comportamiento de rechazo, los sesgos entre grupos y las tasas de alucinación, para que puedas comparar versiones del modelo con la misma vara de medir.
• Escaneo adversarial automatizado. Herramientas de código abierto como garak de NVIDIA y PyRIT de Microsoft envían grandes lotes de prompts de ataque conocidos y puntúan las respuestas, lo que hace viables las pruebas de regresión.
• Monitorización tras el despliegue. Registra los prompts y las salidas (dentro de tus normas de privacidad), vigila los patrones de abuso y vuelve a probar cada vez que cambien el modelo, el prompt de sistema o las herramientas conectadas. Un modelo seguro puede dejar de serlo cuando le das herramientas nuevas.

Para que los hallazgos sean fáciles de abordar, asócialos a un vocabulario común. Usa el OWASP Top 10 for LLM Applications para los riesgos de las aplicaciones y MITRE ATLAS para las técnicas de los adversarios contra sistemas de IA, y organiza el programa según las funciones del NIST AI RMF (Govern, Map, Measure, Manage) descritas antes.

Cómo convertirse en probador de IA

Un probador de IA (cada vez más llamado AI red-teamer o ingeniero de seguridad de ML) se sitúa en la intersección entre las pruebas de seguridad y la ciencia de datos. No necesitas un doctorado, pero sí tres conjuntos de habilidades concretos:

• Habilidades de ataque a nivel de prompt: práctica real con jailbreaks, inyección y extracción contra modelos reales.
• Alfabetización en ML: lo suficiente para leer una model card, entender la procedencia de los datos de entrenamiento e interpretar métricas de evaluación como la precisión y la exhaustividad (recall) por subgrupos.
• Dominio de los marcos: el NIST AI RMF y el OWASP LLM Top 10, para que tus hallazgos se correspondan con algo que reconozcan los equipos de gobierno.

La vía de entrada más rápida para un ingeniero de seguridad en activo es empezar a hacer red teaming de un modelo al que ya tenga acceso, escribir su primera model card y registrar los hallazgos según las categorías del OWASP LLM. Ese conjunto de artefactos convence más que cualquier certificado.

Qué empleos no sobrevivirán y por qué las pruebas importan más

La demanda de búsquedas no deja de plantear la pregunta de «qué 3 empleos no sobrevivirán a la IA». La respuesta honesta: los puestos basados en el procesamiento de información repetitivo y basado en reglas son los más expuestos (la introducción básica de datos, la atención al cliente de primera línea con guion y la revisión rutinaria de documentos). Pero la misma ola de automatización *está creando* demanda de personas que puedan verificar estos sistemas. Cada modelo que sustituye una tarea introduce una nueva superficie de fallo que alguien tiene que probar. Las pruebas de seguridad de la IA son la disciplina que convierte «la IA se quedó con el trabajo» en «la IA necesita supervisión, y ese es el trabajo».

Antes incluso de que un modelo de terceros llegue a las pruebas, comprueba de dónde viene. El escáner de riesgos de modelos de Hugging Face de PlayCISO (Pro) lee los metadatos de un modelo público y da una lectura del riesgo de la cadena de suministro: código remoto o personalizado (trust_remote_code), licencia, adopción, actualidad y acceso restringido. En el lado de los prompts, PromptScan analiza contenido en busca de intentos de inyección de prompts.