Humano en el bucle y procedencia: dónde tienen sentido

Pregunta a una sala de profesionales de seguridad cómo hacer seguro un sistema de IA y oirás «inyección de prompts» en menos de diez segundos. Pregunta por el humano en el bucle y la procedencia y obtendrás asentimientos y, después, en la práctica, uno de dos fallos: el equipo añade un paso de aprobación humana a todo hasta que el producto es demasiado lento para usarlo, o se lo salta por completo y deja que un agente haga transferencias de dinero por su cuenta. Ambos son errores por el mismo motivo: el HITL y la procedencia son reguladores, no interruptores.

Orientación general para responsables de seguridad e ingeniería, no asesoramiento legal.

La idea central: ajustar el control a lo que está en juego

Un paso de aprobación humana es caro. Cuesta latencia, cuesta la atención de una persona y (la parte que se olvida) cuesta credibilidad. Pon una puerta bloqueante delante de una acción trivial y reversible y ocurren tres cosas: el sistema se vuelve más lento, el revisor empieza a aprobar sin mirar porque el 99 % de lo que ve está bien (fatiga de alertas) y los usuarios aprenden a esquivar la puerta. Ahora tienes un control que parece protección y no protege nada. La misma lógica rige la procedencia: una firma criptográfica o un registro de auditoría merecen un esfuerzo real cuando que te engañen sobre el origen de un artefacto sale caro, y son puro coste cuando no.

Así que la pregunta nunca es «¿debemos tener un humano en el bucle?». Es «¿en qué acciones, y con qué peso de puerta?». Este es el registro.

Humano en el bucle: dónde tiene sentido

Pon una puerta a una acción cuando es irreversible o costosa de deshacer, tiene un radio de impacto amplio o conlleva un peso de seguridad, legal o financiero. En concreto:

• Mover dinero: pagos, liquidaciones, reembolsos por encima de un umbral, transferencias bancarias.
• Cambios en datos de producción: borrar o editar en masa registros, cambios de esquema, restauraciones.
• Identidad y acceso: crear cuentas o elevar sus privilegios, cambiar credenciales, conceder roles.
• Llevar a producción: despliegues, versiones, cambios de infraestructura, feature flags que afectan a todo el mundo.
• Comunicación masiva o pública: enviar un correo a toda la lista, publicar como la marca, cualquier cosa que vea un público amplio.
• Llamadas a herramientas de agentes con efectos en el mundo real: un agente de IA que puede ejecutar código, llamar a API que cambian estado o gastar dinero.
• Todo lo que puedas tener que justificar: decisiones que un regulador, un auditor o un tribunal podrían cuestionar.

En el extremo más delicado de esta lista (pagos grandes, acciones destructivas en producción), ve más allá de la aprobación única hasta el control dual (dos personas, como la llave nuclear). Es la cantidad adecuada de fricción para una acción que de verdad no puedes deshacer.

Humano en el bucle: dónde no tiene sentido

No pongas puertas a acciones frecuentes, de poco impacto y fáciles de revertir. Ahí un paso humano es un impuesto, no una salvaguarda:

• Redactar, resumir, etiquetar o reformatear texto interno.
• Un reembolso o un abono por debajo del umbral y dentro de la política.
• Responder a una consulta de soporte rutinaria y de bajo riesgo.
• Un cambio de configuración reversible en un entorno que no es de producción.
• Consultas e informes de solo lectura.

Para estas, el control adecuado es automatizar + registrar + hacer reversible: deja que se ejecute, registra quién, qué y cuándo, y haz que deshacerlo o revisarlo por muestreo a posteriori sea cuestión de un clic. Así conservas la velocidad y sigues teniendo rendición de cuentas. Poner puertas de más a estas acciones es como un programa de gobierno bienintencionado produce un producto que nadie quiere usar, y una cola de revisión tan ruidosa que la única aprobación que importaba se cuela sin que nadie la lea.

Procedencia: dónde tiene sentido y dónde es excesiva

La procedencia es saber, y poder demostrar, de dónde viene algo: el origen de los datos de entrenamiento y de recuperación, si un contenido lo generó una IA y un registro de auditoría de lo que hizo un agente. Compensa su coste cuando que te engañen sobre el origen sale caro:

• Merece la pena: noticias y periodismo; pruebas legales, forenses o de cumplimiento; comunicaciones oficiales, financieras o de seguridad; y la cadena de suministro de tus modelos, prompts y herramientas, donde un artefacto manipulado es un ataque (fírmalo y atestígualo, igual que harías con una compilación de software).
• Es excesiva: contenido efímero, interno y de baja confianza. Firmar con C2PA cada borrador desechable, cada miniatura interna o cada nota de trabajo es un esfuerzo sin recompensa. Indicar que algo se hizo con ayuda de IA puede seguir mereciendo la pena; un manifiesto criptográfico completo, no.

Ten en cuenta también que la procedencia tiene límites que conviene reconocer con honestidad: las marcas de agua débiles pueden eliminarse, y una firma demuestra el origen, no la verdad. Ajusta la profundidad (indicación, marca de agua duradera, manifiesto C2PA completo con firma) a lo que está en juego.

Encuentra tu propia línea

El registro anterior es el mapa; estas herramientas en el navegador son cómo lo aplicas a tu propio sistema (son herramientas Pro: con una cuenta gratuita tienes 3 usos):

• Asesor de decisiones de humano en el bucle: responde unas preguntas sobre una acción y obtén una recomendación que va de «automatizar + registrar» a «control dual», con un aviso explícito cuando estás a punto de poner puertas de más.
• Calibrador de puertas de aprobación de IA: audita tus puertas actuales; marca las acciones peligrosas que no tienen puerta y las triviales que malgastan una.
• Laboratorio de autonomía frente a supervisión: practica la asignación de niveles de supervisión a acciones reales de agentes y ve los dos modos de fallo: el desastre que dejaste pasar y la acción trivial que estrangulaste.
• Cuadro de mando de cobertura de procedencia de IA: puntúa la procedencia de las entradas, las salidas, el rastro de decisiones y la cadena de suministro, con el recordatorio de ajustar el esfuerzo a lo que está en juego.
• Checklist de procedencia de contenidos y C2PA: una checklist práctica de Content Credentials, firma, marcas de agua e indicación.
• Laboratorio de cadena de procedencia: construye una cadena de procedencia, rompe un eslabón y mira exactamente dónde falla la verificación.

Combínalo con el modelo de amenazas de agentes de voz, la anatomía del ataque a la cadena de suministro de GitHub y el mapa de riesgos de seguridad de IA: la procedencia y la supervisión son los controles que hay debajo de la mayoría de esas historias.

La conclusión

El humano en el bucle y la procedencia están en el mismo nivel que la defensa frente a la inyección y, como cualquier control, hacen daño cuando se aplican mal. Pon el juicio humano donde un error es caro y permanente; automatiza, registra y haz reversible todo lo demás. Firma y traza lo que otros deben poder creer; no grabes con impuestos el resto. Bien calibrados, estos controles hacen un sistema de IA más seguro y más rápido a la vez. Mal calibrados, no lo hacen ni lo uno ni lo otro.