Laboratorio de auditoría de agentes que se automejoran
Audita un arnés de agente que edita su propio arnés: ¿puedes demostrar qué cambió, por qué, y deshacerlo?
Abrir la herramienta →La herramienta interactiva se abre en inglés.
Un arnés de agente que se automejora, como el descrito en el trabajo Harness² de Google Cloud AI Research (arXiv 2610.14224), edita su propio arnés y arrastra «lecciones» con el tiempo. Está en producción y tú eres el AUDITOR. En cada observación eliges el ÁREA DE CONTROL de auditoría (procedencia de las ediciones adoptadas, registro de decisiones y pruebas, capacidad de reversión, propiedad y rendición de cuentas, detección de deriva o no autoampliación del alcance), un VEREDICTO (conforme, oportunidad, brecha menor o brecha mayor) y la remediación o la prueba que lo cierra. Las expectativas de control se vinculan con ISO/IEC 42001 (sistema de gestión de IA: ciclo de vida, registros, revisión por la dirección, control de cambios) y con ISO/IEC 27090 (guía de seguridad para sistemas de IA), descritas por temas, sin citar números de cláusula literalmente y sin CVE inventados. La habilidad que entrena: una edición sin registrar necesita procedencia firmada, un log que el agente puede escribir necesita un registro de adopción inmutable, unas instantáneas que nunca se han restaurado necesitan una reversión probada, los cambios sin gobierno necesitan un responsable con nombre y una puerta de aprobación, el comportamiento sin vigilar necesita alertas de deriva y un agente que amplía sus propias herramientas debe quedar limitado; y un control plenamente documentado, reversible y con un responsable claro NO debe señalarse de más. Incluye un registro de auditoría, un mapa en directo de área de control × gravedad de la brecha, niveles de dificultad, bonificación por velocidad y una nota de S a D. Es un laboratorio Pro: con una cuenta gratuita tienes 3 usos de herramientas Pro en total y después necesitas Pro.
- Lee cada observación sobre el agente desplegado que se automejora.
- Elige el área de control: procedencia, registro, reversión, propiedad, deriva o no autoampliación del alcance.
- Da el veredicto (conforme, oportunidad, brecha menor o mayor) y elige la remediación o la prueba que lo cierra.
- Revisa el registro de auditoría, el mapa de área × gravedad y tu nota de S a D; no señales de más el caso conforme.
Preguntas frecuentes
¿Qué es un arnés de agente que se automejora y qué enseña este laboratorio?
Un arnés de agente que se automejora es un agente capaz de editar su propio arnés (el andamiaje de prompts, herramientas y rutinas que rodea al modelo) y de arrastrar «lecciones» de una sesión a otra, como describe el trabajo Harness² de Google Cloud AI Research (arXiv 2610.14224). Eso es potente y también un problema de aseguramiento: lo que desplegaste no deja de cambiarse a sí mismo. Este laboratorio es el ejercicio del auditor para exactamente esa situación. En cada observación sobre un agente desplegado que se automejora decides a qué área de control de auditoría pertenece, si es conforme o una brecha, y qué remediación o prueba la cerraría, para que puedas demostrar qué cambió el agente, por qué conservó el cambio y que puedes revertirlo.
¿Con qué normas se relaciona?
Relaciona los controles con ISO/IEC 42001, la norma de sistemas de gestión de IA (sus expectativas sobre el ciclo de vida de la IA, los registros y la conservación de documentación, la responsabilidad y la revisión por la dirección y el control de cambios) y con ISO/IEC 27090, que orienta sobre cómo abordar las amenazas de seguridad para los sistemas de IA (por ejemplo, un agente que amplía en silencio su propio alcance). El laboratorio las menciona por temas y nunca cita números de cláusula literalmente ni los inventa; el objetivo es reconocer el área de control y elegir la solución, no memorizar una cita.
¿Por qué «el agente amplió el alcance de sus propias herramientas» es más que un fallo?
Porque un agente que se automejora y puede concederse nuevas herramientas o privilegios puede ampliar lo que es capaz de hacer sin que nadie decida permitírselo, y ningún parche aislado lo arregla: es una propiedad del diseño. La remediación es limitar la autoampliación: el agente no debe poder cambiar su propio alcance, y cualquier cambio de alcance o de permisos debe pasar por una puerta de aprobación humana explícita que deniega por defecto. La guía de seguridad de ISO/IEC 27090 trata la autoampliación descontrolada como una amenaza que hay que abordar, no como una capacidad bienvenida. La misma lógica explica por qué el registro de adopción debe quedar fuera del alcance de escritura del propio agente: un registro que el sujeto puede reescribir no es una prueba.
¿Es un escáner real o toca un agente en producción?
No. Es un ejercicio de auditoría educativo y sin conexión, con un conjunto sintético de observaciones sobre un agente desplegado ficticio. No se conecta a ningún agente, modelo ni sistema, ni lo escanea ni lo modifica, y no contiene detalles de exploits: solo la decisión del auditor sobre el área de control, el veredicto y la remediación. Está pensado para desarrollar el criterio que usa un responsable de gobierno de IA, GRC o aseguramiento cuando un agente que se automejora entra en su ámbito: separar un control genuino, documentado y reversible de uno sin registrar, irreversible y que se autoamplía, sin señalar de más el caso conforme.
¿Es gratis?
No, es un laboratorio Pro. Con una cuenta gratuita tienes 3 usos de prueba de herramientas Pro en total; después necesitas Pro.