Red teaming de IA: guía práctica para líderes de seguridad

El red teaming de IA es la práctica de atacar deliberadamente un sistema de IA (con prompts, sondeos y manipulaciones) para encontrar sus fallos antes que los adversarios. A diferencia del pentesting tradicional, que se dirige a redes y código, el red teaming de IA se dirige al comportamiento del modelo: jailbreaks que eluden los guardrails de seguridad, inyección de prompts que secuestra las instrucciones, extracción de datos de entrenamiento y salidas dañinas o sesgadas. El objetivo es producir una lista concreta de debilidades explotables y las mitigaciones que las cierran.

Qué prueba realmente el red teaming en IA

Un ejercicio útil de red team de IA cubre una taxonomía de amenazas definida en lugar de tantear al azar. Las categorías que más importan en un modelo de lenguaje o agéntico:

• Jailbreaks: ataques de juego de rol, ofuscación o de varios turnos que consiguen que el modelo ignore su política de seguridad.
• Inyección de prompts: instrucciones maliciosas ocultas en documentos recuperados, páginas web o datos del usuario que anulan los prompts de sistema. Es el riesgo principal del OWASP Top 10 for LLM Applications.
• Divulgación de datos sensibles: extraer datos de entrenamiento, prompts de sistema, claves de API o PII que el modelo no debería revelar.
• Agencia excesiva: un agente que realiza acciones no autorizadas (enviar correos, ejecutar código, mover fondos) porque una herramienta o un permiso tenía un alcance excesivo.
• Contenido dañino y sesgo: salidas tóxicas, discriminatorias o que aportan una capacidad peligrosa.

Documenta tus hallazgos frente a los límites declarados del modelo. Aquí es donde las model cards (presentadas por Mitchell et al. (2019) en Google y hoy un formato de documentación estándar del sector) se convierten en la línea base del red teamer. Una model card recoge el uso previsto, las pruebas de rendimiento, las consideraciones éticas y las limitaciones conocidas. Si el modelo se comporta fuera de su uso previsto declarado, tienes un hallazgo, no un debate.

Qué IA y qué herramientas son las mejores para el red teaming

No hay una única «mejor IA para red teaming»: usas una mezcla de modelos atacantes y marcos creados a propósito. Una pila práctica:

• PyRIT (el Python Risk Identification Toolkit de Microsoft): automatiza la generación y la puntuación de prompts adversarios según los objetivos de ataque.
• Garak: un escáner de vulnerabilidades de LLM de código abierto que ejecuta de serie cientos de sondeos de jailbreaks, inyección de prompts y fugas de datos.
• Promptfoo: bueno para pruebas de regresión de prompts y para construir un conjunto de red team repetible en CI.
• Un modelo sin censura o con menos restricciones como atacante: quieres un modelo dispuesto a generar cargas adversarias para sondear tu modelo objetivo. Combínalo con un modelo «juez» potente (como un GPT o un Claude de frontera) para puntuar si un ataque tuvo éxito.

En cuanto a habilidades, merece la pena nombrar las rutas de formación populares: HTB (Hack The Box) ofrece laboratorios y retos de red teaming de IA, y OffSec se ha ido ampliando a contenidos de ataque a la IA junto a sus certificaciones consolidadas de seguridad ofensiva. Un curso de red teaming de IA de cualquiera de los dos es una vía de entrada razonable si tu equipo viene de un perfil de pentesting tradicional.

Qué aporta el red teaming de IA agéntica

El red teaming de IA agéntica se dirige a sistemas que no solo responden: actúan. Un agente con herramientas (un navegador, un intérprete de código, un conector de base de datos, una API de pagos) tiene una superficie de ataque mucho mayor que un modelo de chat. Aparecen nuevos modos de fallo:

• Envenenamiento de herramientas: un atacante manipula la salida de una herramienta para que el agente encadene una acción dañina.
• Inyección de prompts encadenada: una única instrucción inyectada se propaga a lo largo de varios pasos del agente y de subagentes.
• Secuestro de objetivos: el objetivo del agente se redirige sutilmente a mitad de la tarea.

Prueba los agentes en un entorno aislado con acceso real (pero desechable) a herramientas, porque una inyección que parece inofensiva en una ventana de chat se convierte en una vía de exfiltración de datos o de ejecución remota en cuanto el modelo puede llamar de verdad a funciones. Aplica el mínimo privilegio a cada herramienta y exige confirmación humana para las acciones irreversibles.

Cuánto cobran los red teamers de IA y cómo empezar

La retribución sigue a la de los puestos senior de seguridad ofensiva y de seguridad de ML: en el mercado de EE. UU., los puestos dedicados de red team de IA y de ingeniero de seguridad de IA suelen situarse aproximadamente en el rango de 150.000–250.000 $ o más de retribución total en los grandes laboratorios de IA y las grandes empresas, con los especialistas de los laboratorios de frontera en la parte alta. La demanda supera a la oferta, y por eso se está reclutando tanto del talento de pentesting tradicional como del de ingeniería de ML.

Para hacer tu primer ejercicio: (1) consigue la model card y anota el uso previsto y las limitaciones declaradas; (2) elige una taxonomía de amenazas (el OWASP LLM Top 10 es una buena opción por defecto); (3) ejecuta sondeos automatizados con Garak o PyRIT para tener cobertura; (4) añade ataques manuales, creativos y de varios turnos donde la automatización es débil; (5) puntúa los resultados con un modelo juez y registra cada ataque con éxito como un ticket con su mitigación. Después vuelve a ejecutar el conjunto en cada cambio de modelo o de prompt: el red teaming es una prueba de regresión, no algo puntual.

Preguntas frecuentes

¿Qué prueba el red teaming en IA?

Un ejercicio útil de red team de IA cubre una taxonomía de amenazas definida en lugar de tantear al azar. Las categorías que más importan en un modelo de lenguaje o agéntico: Jailbreaks: ataques de juego de rol, ofuscación o de varios turnos que consiguen que el modelo ignore su política de seguridad.

¿Qué herramientas de IA son las mejores para el red teaming?

No hay una única «mejor IA para red teaming»: usas una mezcla de modelos atacantes y marcos creados a propósito. Una pila práctica: PyRIT (el Python Risk Identification Toolkit de Microsoft): automatiza la generación y la puntuación de prompts adversarios según los objetivos de ataque.

¿Qué aporta el red teaming de IA agéntica?

El red teaming de IA agéntica se dirige a sistemas que no solo responden: actúan. Un agente con herramientas (un navegador, un intérprete de código, un conector de base de datos, una API de pagos) tiene una superficie de ataque mucho mayor que un modelo de chat. Aparecen nuevos modos de fallo: Envenenamiento de herramientas: un atacante manipula la salida de una herramienta para que el agente encadene una acción dañina.

¿Cuánto cobran los red teamers de IA y cómo se empieza?

La retribución sigue a la de los puestos senior de seguridad ofensiva y de seguridad de ML: en el mercado de EE. UU., los puestos dedicados de red team de IA y de ingeniero de seguridad de IA suelen situarse aproximadamente en el rango de 150.000–250.000 $ o más de retribución total en los grandes laboratorios de IA y las grandes empresas, con los especialistas de los laboratorios de frontera en la parte alta.