Evaluación de riesgos de modelos de IA: lista de preguntas

Una evaluación de riesgos de un modelo de IA plantea un conjunto estructurado de preguntas en cuatro áreas: procedencia de los datos, rendimiento y limitaciones del modelo, seguridad y exposición adversaria, y gobernanza y rendición de cuentas. La forma más rápida de hacerla es exigir una respuesta documentada a cada pregunta antes de que un modelo llegue a producción, usando una model card como registro de referencia. Si no puedes responder a una pregunta, esa carencia es el riesgo.

Las preguntas básicas de una evaluación de riesgos de modelos de IA

Agrupa tus preguntas para que cada una corresponda a una decisión que un revisor tenga que tomar de verdad. Esta es una lista de comprobación de trabajo que puedes llevar directamente a una plantilla:

• Datos: ¿de dónde proceden los datos de entrenamiento? ¿Contienen PII, material con derechos de autor o datos regulados? ¿Cómo se etiquetaron y quién lo hizo? ¿Cuál es el sesgo demográfico o de muestreo conocido?
• Uso previsto: ¿qué decisión informa o automatiza este modelo? ¿Cuáles son los usos explícitamente no contemplados? ¿Qué pasa ante una salida incorrecta? ¿Hay un humano en el circuito?
• Rendimiento: ¿qué benchmarks se usaron y cuáles son las tasas de exactitud, precisión, recall y falsos positivos? ¿Cómo se degrada el rendimiento en casos límite o en grupos infrarrepresentados?
• Seguridad: ¿está el modelo expuesto a entradas no fiables (inyección de prompts, envenenamiento de datos, extracción del modelo)? ¿Tiene control de acceso el pipeline de entrenamiento? ¿Cómo se protegen los pesos del modelo y las claves de API?
• Gobernanza: ¿quién es el responsable del modelo? ¿Quién aprobó el despliegue? ¿Con qué frecuencia se revalida y qué desencadena una vuelta atrás?

Fíjate en que reflejan los campos de una model card, el formato de documentación presentado por Mitchell et al. (2019) en Google, hoy un estándar del sector que recoge el uso previsto de un modelo, sus pruebas de rendimiento, las consideraciones éticas y las limitaciones conocidas. Si adoptas la model card como artefacto de tu evaluación, tus preguntas y tu documentación se mantienen alineadas en lugar de vivir en hojas de cálculo separadas.

Cómo realizar de verdad la evaluación

Trátala como una revisión con puertas, no como un formulario puntual. Una secuencia que funciona:

• Acotar y clasificar (día 1): valora el impacto del modelo. Un modelo que recomienda contenido interno es de bajo riesgo; uno que deniega crédito o marca fraude es de alto riesgo. Esto determina cuánto profundiza el resto de la evaluación: la Ley de IA de la UE usa la misma lógica de niveles de riesgo.
• Reunir evidencias (días 2–5): exige al responsable del modelo que rellene la model card y adjunte los resultados de las pruebas. Sin evidencias, no hay aprobación.
• Hacer red teaming de los elementos de alto riesgo: para cualquier modelo expuesto a entradas no fiables, ejecuta pruebas adversarias (inyección de prompts, jailbreaks y entradas límite) antes del lanzamiento, no después.
• Fijar la cadencia de revisión: vuelve a evaluar al reentrenar, al superarse un umbral de deriva o a intervalos fijos (trimestral para el alto riesgo). Asocia los controles a un marco reconocido como el NIST AI Risk Management Framework (AI RMF) para que tu evaluación supere una auditoría.

Prioriza sin piedad. Si solo tienes tiempo para cinco preguntas, haz las dos que detectan los fallos catastróficos («¿Qué entrada no fiable puede llegar a este modelo?» y «¿A qué decisión afecta una salida incorrecta?») más las tres que desbloquean la rendición de cuentas: responsable, aprobación y desencadenante de vuelta atrás.

¿Qué es la «regla del 30 %» por la que todo el mundo pregunta?

La «regla del 30 %» no es un estándar de seguridad formal: es una heurística de producto que dice que la automatización debería gestionar el grueso de los casos rutinarios mientras una minoría significativa (suele citarse en torno al 30 %) se deriva a revisión humana o se mantiene como margen de confianza. A efectos de la evaluación de riesgos, la versión útil de esta idea es un umbral de confianza: define la confianza de salida por debajo de la cual el modelo debe ceder la decisión a una persona. Documenta ese umbral en tu model card, porque una frontera de automatización sin documentar es donde se acumulan los fallos silenciosos.

Dónde encontrar plantillas y herramientas

No necesitas construir el cuestionario desde cero. Buenos puntos de partida:

• NIST AI RMF Playbook: gratuito, asocia las preguntas a las funciones concretas «Govern, Map, Measure, Manage».
• Plantillas de model cards en GitHub: el Model Card Toolkit de Google y la especificación de model cards de Hugging Face te dan un formato reutilizable y con control de versiones (mucho mejor que un PDF estático que se queda obsoleto).
• OWASP Top 10 for LLM Applications: convierte cada riesgo de la lista en una pregunta de evaluación para cualquier modelo generativo.

Un consejo práctico: guarda tus evaluaciones completadas como código o archivos estructurados en tu repositorio, no como PDF sueltos. El control de versiones hace que cada respuesta tenga un historial de cambios, que es exactamente lo que te pedirá un auditor (o tu yo futuro después de un incidente).

Si quieres arrancar con ventaja, el AI Model Risk Scanner gratuito de PlayCISO te guía por estas preguntas y señala las carencias que con más frecuencia bloquean un despliegue seguro.

Preguntas frecuentes

¿Qué son las preguntas de evaluación de riesgos de modelos de IA?

Una evaluación de riesgos de un modelo de IA plantea un conjunto estructurado de preguntas en cuatro áreas: procedencia de los datos, rendimiento y limitaciones del modelo, seguridad y exposición adversaria, y gobernanza y rendición de cuentas. La forma más rápida de hacerla es exigir una respuesta documentada a cada pregunta antes de que un modelo llegue a producción, usando una model card como registro de referencia.

¿Cuáles son las preguntas básicas de una evaluación de riesgos de modelos de IA?

Agrupa tus preguntas para que cada una corresponda a una decisión que un revisor tenga que tomar de verdad. Esta es una lista de comprobación de trabajo que puedes llevar directamente a una plantilla: Datos: ¿de dónde proceden los datos de entrenamiento? ¿Contienen PII, material con derechos de autor o datos regulados?

¿Cómo se realiza de verdad una evaluación de riesgos de un modelo de IA?

Trátala como una revisión con puertas, no como un formulario puntual. Una secuencia que funciona: Acotar y clasificar (día 1): valora el impacto del modelo. Un modelo que recomienda contenido interno es de bajo riesgo; uno que deniega crédito o marca fraude es de alto riesgo.

¿Dónde encontrar plantillas y herramientas para la evaluación de riesgos de modelos de IA?

No necesitas construir el cuestionario desde cero. Buenos puntos de partida: NIST AI RMF Playbook: gratuito, asocia las preguntas a las funciones concretas «Govern, Map, Measure, Manage». Plantillas de model cards en GitHub: el Model Card Toolkit de Google y la especificación de model cards de Hugging Face te dan un formato reutilizable y con control de versiones (mucho mejor que un PDF estático que se queda obsoleto).