Riesgos de la IA agéntica: amenazas y controles clave

Los riesgos centrales de la IA agéntica son la autonomía excesiva (un agente que toma acciones irreversibles sin aprobación humana), la proliferación de identidades y permisos (agentes que acumulan credenciales que nadie controla) y el desalineamiento de objetivos (un agente que optimiza una métrica sustituta de forma dañina). A diferencia de un chatbot que solo genera texto, un agente planifica, llama a herramientas y ejecuta, así que una sola mala decisión puede encadenarse en daños reales entre sistemas. La mitigación probada es gobernar antes de desplegar: condiciona la autonomía a puntos de control de evaluación y limita los permisos de cada agente al mínimo que necesita.

Qué hace que la IA agéntica sea peligrosa frente a la IA generativa

Un modelo generativo produce una salida; un agente actúa a partir de esa salida. Esa diferencia es toda la superficie de riesgo. Entre los peligros concretos:

• Errores que se acumulan: un agente que interpreta mal un paso arrastra el error a la siguiente llamada a una herramienta, de modo que pequeñas alucinaciones se convierten en fallos en cascada.
• Inyección de prompts convertida en acción: la inyección de prompts tradicional produce texto malo. Contra un agente con acceso a APIs, las instrucciones inyectadas pueden provocar exfiltración de datos, transacciones no autorizadas o cambios de configuración.
• Agencia excesiva: citada directamente en el OWASP LLM Top 10 (LLM06), es el riesgo de dar a un agente más funcionalidad, permisos o autonomía de los que la tarea requiere: el modo de fallo más citable de los sistemas agénticos.
• No determinismo: el mismo prompt puede dar lugar a secuencias de acciones distintas, lo que hace las pruebas y la auditoría mucho más difíciles que en el software determinista.

Por eso la pregunta «¿por qué fallará la IA agéntica?» tiene una respuesta concreta: la mayoría de los fallos se remontan a permisos demasiado amplios y a la ausencia de un humano en el circuito en las acciones de alta consecuencia, no a que el modelo esté «equivocado».

El riesgo clave: la identidad, y por qué los agentes rompen el control de acceso

Si solo puedes abordar una amenaza de la IA agéntica, aborda la identidad de máquina. Un agente necesita credenciales para actuar, y los equipos suelen darle a los agentes una cuenta de servicio compartida con alcances amplios porque es más rápido. Eso hunde tu modelo de control de acceso:

• Sin atribución: cuando diez agentes comparten una identidad, no puedes saber cuál hizo una llamada a la API concreta durante la respuesta a incidentes.
• Privilegio permanente: los agentes conservan tokens persistentes que sobreviven a la tarea, lo que amplía el radio de impacto de cualquier compromiso.
• Confusión en la delegación: un agente que actúa «en nombre de» un usuario puede operar con los derechos del usuario o con los suyos propios, y esa ambigüedad es donde vive la escalada de privilegios.

Corrígelo con identidades por agente, credenciales de corta duración y alcance limitado, y una política según la cual cada herramienta que un agente puede llamar está enumerada y registrada. Relaciona estos controles con las funciones del NIST AI RMF (Govern, Map, Measure, Manage) para que queden dentro de un perfil reconocido de estándares de gestión de riesgos de la IA agéntica y no en una hoja de cálculo aislada.

Un marco de seguridad para IA agéntica que puedes aplicar ya

No necesitas un marco a medida: necesitas combinar los que ya existen. Una pila de controles práctica:

• Niveles de autonomía: clasifica cada acción del agente por su consecuencia. Lo de solo lectura sigue siendo autónomo; lo que cambia el estado requiere una aprobación registrada; las acciones irreversibles o financieras requieren confirmación humana. Así operan ya los laboratorios de frontera: la Responsible Scaling Policy de Anthropic y el Preparedness Framework de OpenAI establecen puertas de evaluación escalonadas antes de desplegar sistemas más capaces, lo que refleja un patrón del sector de gobernar antes de desplegar. Aplica la misma lógica internamente, ajustada a tu riesgo.
• Lista de herramientas permitidas: denegar por defecto. Un agente solo puede invocar herramientas aprobadas explícitamente, y cada herramienta declara su propia validación de entradas.
• Monitorización de salidas y acciones: registra la traza completa de planificación y ejecución, no solo el resultado final, para poder reconstruir las decisiones.
• Cortacircuitos: limita la frecuencia de las acciones y define interruptores de emergencia que detengan a un agente cuando supere un presupuesto de pasos o active umbrales de anomalía.
• Red teaming de inyección: prueba los agentes contra entradas adversarias incrustadas en los datos que procesan (correos, documentos, páginas web), no solo contra el prompt directo.

Ejemplo práctico: un agente que clasifica tickets de soporte debería tener acceso de lectura al sistema de tickets (autónomo), capacidad de redactar respuestas que envía un humano (aprobación) y ninguna capacidad de emitir reembolsos directamente (bloqueado: se deriva a una cola humana). Esa sola decisión de diseño elimina la mayor parte del riesgo de agencia excesiva sin frenar el trabajo útil.

¿Perjudica la IA agéntica al medio ambiente?

Los flujos agénticos sí consumen más cómputo que una sola llamada al modelo porque funcionan en bucle (planifican, llaman a herramientas, vuelven a evaluar), a menudo con muchos pasos de inferencia por tarea. Eso multiplica el consumo de energía frente a una generación de un solo paso. No hay una cifra única verificada que citar aquí, así que trátalo como una restricción de diseño: limita los presupuestos de pasos, guarda en caché los resultados de las herramientas y usa modelos más pequeños para las subtareas rutinarias. El mismo cortacircuitos por presupuesto de pasos que limita el comportamiento descontrolado también limita el cómputo desperdiciado.

Preguntas frecuentes

¿Qué hace que la IA agéntica sea más peligrosa que la IA generativa?

Un modelo generativo produce una salida; un agente actúa a partir de esa salida. Esa diferencia es toda la superficie de riesgo. Entre los peligros concretos: Errores que se acumulan: un agente que interpreta mal un paso arrastra el error a la siguiente llamada a una herramienta, de modo que pequeñas alucinaciones se convierten en fallos en cascada.

¿Por qué los agentes de IA rompen el control de acceso?

Si solo puedes abordar una amenaza de la IA agéntica, aborda la identidad de máquina. Un agente necesita credenciales para actuar, y los equipos suelen darle a los agentes una cuenta de servicio compartida con alcances amplios porque es más rápido. Eso hunde tu modelo de control de acceso: Sin atribución: cuando diez agentes comparten una identidad, no puedes saber cuál hizo una llamada a la API concreta durante la respuesta a incidentes.

¿Cómo es un marco de seguridad para IA agéntica?

No necesitas un marco a medida: necesitas combinar los que ya existen. Una pila de controles práctica: Niveles de autonomía: clasifica cada acción del agente por su consecuencia. Lo de solo lectura sigue siendo autónomo; lo que cambia el estado requiere una aprobación registrada; las acciones irreversibles o financieras requieren confirmación humana.

¿Perjudica la IA agéntica al medio ambiente?

Los flujos agénticos sí consumen más cómputo que una sola llamada al modelo porque funcionan en bucle (planifican, llaman a herramientas, vuelven a evaluar), a menudo con muchos pasos de inferencia por tarea. Eso multiplica el consumo de energía frente a una generación de un solo paso.