Modelado de amenazas con IA: qué funciona y cómo empezar

Una herramienta de modelado de amenazas con IA te ayuda a identificar de forma sistemática cómo podría ser atacado un sistema de IA o de aprendizaje automático (envenenamiento de datos, robo del modelo, inyección de prompts y salidas inseguras) y después asocia esas amenazas a mitigaciones. El mejor enfoque hoy combina una herramienta de modelado de uso general (como OWASP Threat Dragon o Microsoft Threat Modeling Tool) con bases de conocimiento específicas de IA (OWASP Top 10 for LLM Applications y MITRE ATLAS). La IA puede acelerar el proceso redactando listas de amenazas y sugiriendo controles, pero una persona sigue siendo responsable del modelo final.

¿Puede la IA hacer de verdad modelado de amenazas?

En parte. Los grandes modelos de lenguaje son buenos en las partes tediosas del modelado de amenazas: enumerar flujos de datos, idear vías de ataque para una arquitectura dada y asociar las amenazas a categorías STRIDE o a tácticas de MITRE ATLAS. Dale a un modelo la descripción de tu diagrama de arquitectura y sacará a la luz de forma fiable los riesgos evidentes: una API expuesta, endpoints de modelo sin autenticación, falta de validación de entradas.

Lo que la IA aún no puede hacer es entender el contexto de tu negocio, tus fronteras de confianza reales o qué amenazas son aceptables. Alucinará mitigaciones que no aplican y pasará por alto riesgos específicos de la organización. Trata los modelos de amenazas generados por IA como un primer borrador que un ingeniero de seguridad revisa y poda, no como un artefacto final. La ganancia de productividad es real; la trampa es renunciar al criterio propio.

Las mejores herramientas para modelar amenazas de sistemas de IA

No hay una única «mejor» herramienta: montas una pila. Esto es lo que se usa de verdad:

• OWASP Threat Dragon: gratuita, de código abierto, en GitHub. Modelado STRIDE basado en diagramas que funciona en el navegador o como aplicación de escritorio. El punto de partida por defecto para los equipos que quieren una herramienta gratuita de modelado de amenazas de IA sin complicaciones de licencias.
• Microsoft Threat Modeling Tool: análisis STRIDE gratuito basado en plantillas. Fuerte para arquitecturas tradicionales; la amplías con plantillas personalizadas para los componentes de ML.
• IriusRisk / SD Elements: plataformas comerciales que automatizan la generación de controles y el mapeo de cumplimiento a escala, incluidas bibliotecas de contenido específicas de IA.
• OWASP Top 10 for LLM Applications: no es una herramienta, sino el catálogo de amenazas esencial. Sitúa la inyección de prompts como la categoría de riesgo n.º 1, por delante del manejo inseguro de salidas y del envenenamiento de datos de entrenamiento. Úsalo como lista de comprobación para todo lo que implique un LLM.
• MITRE ATLAS: la base de conocimiento de ML adversario. Cataloga ataques reales contra sistemas de ML/IA organizados por tácticas desde el reconocimiento hasta el impacto, para que puedas modelar cadenas de ataque realistas en lugar de adivinar.

Para el modelado específico de IA, la combinación ganadora es una herramienta de diagramas (Threat Dragon) que da la estructura, el OWASP LLM Top 10 que da la lista de amenazas y ATLAS que lo ancla en técnicas de ataque documentadas.

Un ejemplo práctico: modelar un chatbot de cara al cliente

Supón que despliegas un chatbot de soporte basado en un LLM. Un modelo de amenazas útil prioriza así:

• Inyección de prompts (OWASP LLM01): un atacante incrusta instrucciones en la entrada del usuario o en documentos recuperados para anular los prompts de sistema. Mitigación: validación de entradas/salidas, separación de privilegios y no dejar nunca que el modelo desencadene directamente acciones de alto privilegio.
• Manejo inseguro de salidas: la respuesta del modelo se renderiza como HTML o se pasa a un sistema posterior, lo que permite XSS o SSRF. Mitigación: trata la salida del modelo como no fiable; codifícala y sanéala antes de usarla.
• Envenenamiento de los datos de entrenamiento / RAG: documentos envenenados en tu corpus de recuperación sesgan las respuestas. Mitigación: validación de fuentes y comprobaciones de procedencia del contenido.
• Robo del modelo y consumo excesivo de recursos: asociados directamente a tácticas de ATLAS en la fase de impacto. Mitigación: limitación de frecuencia, autenticación y vigilancia de patrones de extracción.

Prioriza por probabilidad y radio de impacto. En un bot público, la inyección de prompts y el manejo de salidas van primero porque son los más fáciles de explotar y tienen el impacto posterior más amplio.

Detectar amenazas contra un modelo de IA en producción

El modelado de amenazas es de tiempo de diseño; la detección es de tiempo de ejecución. Para detectar ataques contra un modelo desplegado, vigila: patrones de entrada anómalos (sondeos repetidos coherentes con la extracción del modelo), cambios bruscos en la distribución de las entradas (intentos de evasión) y salidas que infringen las políticas de seguridad. Registra prompts y respuestas, y alerta sobre firmas de inyección e intentos de jailbreak. MITRE ATLAS vuelve a ser útil aquí: su taxonomía de tácticas te dice qué comportamientos en tiempo de ejecución instrumentar.

El cumplimiento también condiciona ahora los requisitos de detección. La Ley de IA de la UE entró en vigor el 1 de agosto de 2024 y clasifica los sistemas en cuatro niveles de riesgo (inaceptable, alto, limitado y mínimo), con obligaciones que se aplican de forma escalonada hasta 2027. Los sistemas de alto riesgo conllevan obligaciones de registro, monitorización y gestión de riesgos, así que tus controles de detección tienen que satisfacer cada vez más a los reguladores, no solo a los equipos de seguridad.

Preguntas frecuentes

¿Puede la IA hacer de verdad modelado de amenazas?

En parte. Los grandes modelos de lenguaje son buenos en las partes tediosas del modelado de amenazas: enumerar flujos de datos, idear vías de ataque para una arquitectura dada y asociar las amenazas a categorías STRIDE o a tácticas de MITRE ATLAS.

¿Cuáles son las mejores herramientas para modelar amenazas de sistemas de IA?

No hay una única «mejor» herramienta: montas una pila. Esto es lo que se usa de verdad: OWASP Threat Dragon: gratuita, de código abierto, en GitHub. Modelado STRIDE basado en diagramas que funciona en el navegador o como aplicación de escritorio. El punto de partida por defecto para los equipos que quieren una herramienta gratuita de modelado de amenazas de IA sin complicaciones de licencias.

¿Cómo se detectan amenazas contra un modelo de IA en producción?

El modelado de amenazas es de tiempo de diseño; la detección es de tiempo de ejecución. Para detectar ataques contra un modelo desplegado, vigila: patrones de entrada anómalos (sondeos repetidos coherentes con la extracción del modelo), cambios bruscos en la distribución de las entradas (intentos de evasión) y salidas que infringen las políticas de seguridad.