Model cards de IA: buenas prácticas y qué documentar

Una model card de IA es un documento breve y estandarizado que recoge el uso previsto de un modelo, sus pruebas de rendimiento, las consideraciones éticas y las limitaciones conocidas. Las mejores prácticas son: escribir una ficha por versión del modelo, documentar explícitamente los usos previstos y los no contemplados, informar del rendimiento desglosado por segmento demográfico o de datos (no solo una puntuación agregada) y tratar la ficha como un documento vivo que se actualiza en cada reentrenamiento. Las model cards las introdujeron Mitchell et al. (2019) en Google y hoy son un formato estándar del sector que usan OpenAI, Hugging Face y AWS.

Qué se incluye en una model card (los campos obligatorios)

Una model card útil es estructurada, no un README en texto libre. Como mínimo, incluye estas secciones tomadas de la plantilla original de Mitchell et al. (2019):

• Detalles del modelo: responsable, versión, fecha, tipo de modelo (consulta las cinco familias más abajo), framework de entrenamiento y licencia.
• Uso previsto: el caso de uso principal y los usuarios previstos. Sé concreto: «ordenar tickets de soporte por urgencia para agentes internos», no «clasificación de texto».
• Usos no contemplados: el campo que más se omite y el más valioso. Indica para qué no debe usarse el modelo (por ejemplo, «no validado para triaje médico»).
• Rendimiento: métricas desglosadas por los subgrupos relevantes (edad, geografía, idioma, origen de los datos), no una única cifra de precisión de titular.
• Datos de entrenamiento: procedencia, ventana de recopilación, carencias conocidas y base de consentimiento o licencia.
• Consideraciones éticas y limitaciones: modos de fallo conocidos, hallazgos de sesgo y condiciones en las que el rendimiento se degrada.

Un ejemplo práctico

Esta es una ficha de ejemplo compacta para un modelo de detección de fraude, que muestra el nivel de concreción al que aspirar:

• Modelo: fraud-scorer v3.2, árboles con gradient boosting (XGBoost), entrenado en el 4.º trimestre de 2024, responsable: equipo de Payments Risk.
• Uso previsto: puntuación en tiempo real de transacciones sin tarjeta presente para marcarlas para revisión manual.
• No contemplado: bloqueo automático sin revisión humana; uso en transacciones ACH o transferencias.
• Rendimiento: AUC de 0,94 global; 0,91 para transacciones de menos de 20 $; el recall cae a 0,78 en comercios dados de alta hace <30 días (pocos datos).
• Limitaciones: se degrada durante los picos de gasto de las fiestas; no hay descriptores de comercios en idiomas distintos del inglés en el conjunto de entrenamiento.

Fíjate en las métricas desglosadas y en los puntos débiles explícitos: eso es lo que convierte una ficha de marketing en un control de riesgo. Las system cards de OpenAI para los modelos GPT siguen la misma lógica a escala, publicando los hallazgos del red team y los comportamientos de rechazo junto a las puntuaciones de las pruebas.

La regla del 30 % y las cinco familias de modelos

Dos cosas que los lectores confunden a menudo con las model cards merecen una aclaración rápida. La «regla del 30 %» no es un estándar formal de documentación: es una heurística de gobernanza informal que usan algunos equipos y que significa, más o menos, que si la IA automatiza o influye en más de ~30 % de una decisión, pasan a ser obligatorias una revisión con un humano en el circuito y una ficha documentada. Trátala como un umbral de activación para tu política, no como una métrica que registrar.

Las cinco familias principales de modelos para las que documentarás fichas son: (1) modelos de aprendizaje supervisado (clasificación/regresión), (2) modelos no supervisados (clustering, detección de anomalías), (3) modelos de aprendizaje por refuerzo, (4) modelos generativos/fundacionales (LLM, difusión) y (5) redes neuronales profundas que abarcan los anteriores. Los campos «tipo de modelo» y «limitaciones» de tu ficha difieren mucho según la familia: un modelo generativo necesita notas sobre inyección de prompts y alucinaciones; un clasificador supervisado necesita métricas de equidad por subgrupo.

SageMaker Model Cards frente a AI Service Cards, y generadores

Si estás en AWS, conoce la diferencia entre estos dos productos de nombre parecido. Las SageMaker Model Cards documentan tus propios modelos: tú rellenas el uso previsto, los resultados de evaluación y las calificaciones de riesgo, y se versionan junto al modelo en el registro. Las AWS AI Service Cards son documentación escrita por AWS sobre sus propios servicios de IA gestionados (como Rekognition o Textract); tú las consultas, no las editas. Cuando construyas sobre un servicio gestionado, cita la AI Service Card correspondiente en las secciones de «datos de entrenamiento» y «limitaciones» de tu propia model card.

Para escalar la documentación, usa un generador de model cards en lugar de escribir el texto a mano. Las opciones incluyen el Model Card Toolkit de Google (que produce fichas en el formato de Mitchell et al. a partir de los metadatos de evaluación), las plantillas de fichas de Hugging Face para cualquier modelo del Hub y la creación de fichas integrada en SageMaker. La mejor práctica es generar el esqueleto automáticamente desde tu pipeline de entrenamiento para capturar de forma programática las métricas y el linaje de los datasets, y después que una persona complete las secciones de uso previsto y ética que no pueden inferirse.

¿No sabes qué modelos necesitan una ficha primero, o cuánto riesgo conlleva cada uno? El AI Model Risk Scanner gratuito de PlayCISO te ayuda a clasificar tu inventario de modelos y a señalar los que más urgentemente necesitan fichas documentadas.

Preguntas frecuentes

¿Cuáles son las mejores prácticas para las model cards de IA?

Una model card de IA es un documento breve y estandarizado que recoge el uso previsto de un modelo, sus pruebas de rendimiento, las consideraciones éticas y las limitaciones conocidas. Las mejores prácticas son: escribir una ficha por versión del modelo, documentar explícitamente los usos previstos y los no contemplados, informar del rendimiento desglosado por segmento demográfico o de datos (no solo una puntuación agregada) y tratar la ficha como un documento vivo que se actualiza en cada reentrenamiento.

¿Qué se incluye en una model card?

Una model card útil es estructurada, no un README en texto libre. Como mínimo, incluye estas secciones tomadas de la plantilla original de Mitchell et al. (2019): Detalles del modelo: responsable, versión, fecha, tipo de modelo (consulta las cinco familias más abajo), framework de entrenamiento y licencia.

¿Qué diferencia hay entre las SageMaker Model Cards y las AI Service Cards?

Si estás en AWS, conoce la diferencia entre estos dos productos de nombre parecido. Las SageMaker Model Cards documentan tus propios modelos: tú rellenas el uso previsto, los resultados de evaluación y las calificaciones de riesgo, y se versionan junto al modelo en el registro.