Scorecard de preparación para la observabilidad de agentes de IA
Puntúa si de verdad puedes auditar a tus agentes de IA a partir de sus trazas, en siete dimensiones ponderadas.
Abrir la herramienta →La herramienta interactiva se abre en inglés.
¿Puedes auditar de verdad lo que hicieron tus agentes de IA con la telemetría que conservas? Este scorecard recorre los controles que deciden si la respuesta es sí, enmarcado en el tracing de OpenTelemetry de la API de Claude (beta), que puede emitir spans de las peticiones a Messages, los usos de herramientas y las sesiones de Managed Agents a cualquier backend OTLP con las convenciones semánticas de GenAI. Te evalúas en siete dimensiones: tracing activado, cobertura, retención para auditoría, gobierno del modo de contenido, redacción de datos sensibles, detección de anomalías y alertas, y correlación y completitud. Obtienes una puntuación de preparación de 0 a 100 con su banda, un radar de tus puntos fuertes y débiles y las brechas ordenadas (primero las de menor puntuación y mayor peso), cada una con una acción concreta. Las sutilezas importan: el modo metadata_only registra identificadores, tiempos, estado, recuentos de tokens y nombres, mientras que el modo content añade los prompts y las respuestas y crea un almacén de datos nuevo y sensible; la entrega es best-effort, así que se deduplica por trace id y span id, y para la conciliación de facturación y la detección de claves filtradas o abusos la fuente de verdad es la Usage API. La ponderación es una heurística transparente para la autorreflexión estructurada, no una medición ni una certificación. PlayCISO no está afiliado a Anthropic. No se sube nada: exporta en Markdown o CSV y comparte el scorecard exacto con un enlace permanente. Es una herramienta Pro: con una cuenta gratuita tienes 3 usos de herramientas Pro en total y después necesitas Pro.
- Responde el checklist de las siete dimensiones ponderadas.
- Lee tu puntuación de preparación de 0 a 100, su banda y el radar.
- Empieza por las brechas priorizadas: las de menor puntuación y mayor peso primero, cada una con su siguiente acción.
- Exporta en Markdown o CSV, o comparte el scorecard con un enlace permanente.
Preguntas frecuentes
¿Qué mide el scorecard de preparación para la observabilidad de agentes de IA?
Mide si podrías auditar de verdad lo que hicieron tus agentes de IA con la telemetría que capturas. Se organiza en torno al tracing de OpenTelemetry de la API de Claude (beta), que puede emitir spans de las peticiones a la Messages API, los usos de herramientas y las sesiones de Managed Agents a cualquier backend OTLP. Evalúas siete áreas: si el tracing está activado siquiera, cuánto se cubre, si se conserva y se puede buscar para una investigación a posteriori, si has gobernado la captura solo de metadatos frente a la de contenido completo, si los datos sensibles se redactan antes de exportarlos, si alertas sobre anomalías y si los spans están correlacionados con los usuarios y son lo bastante completos para fiarte de ellos. Obtienes una puntuación de preparación ponderada de 0 a 100 con una banda y una lista de brechas priorizada.
¿La puntuación es una medición real o un benchmark?
No. Es un marco heurístico transparente para la autorreflexión estructurada, no una medición, un benchmark, una auditoría ni una certificación, y no predice ningún resultado. Los pesos (el tracing activado y la cobertura son los que más pesan, porque no puedes auditar lo que nunca registraste) se muestran abiertamente para que puedas ajustarlos a tu propio entorno. El valor está en la conversación estructurada y en la lista priorizada de tareas, no en el número exacto.
¿Escanea algo, se conecta a Anthropic o envía mis respuestas a algún sitio?
No. El scorecard funciona íntegramente en tu navegador. No hace ningún escaneo, no llama a ninguna API y no toca ningún sistema. PlayCISO no está afiliado a Anthropic y esto no es un tutorial de configuración de Anthropic: es una autoevaluación de seguridad y auditoría que resulta estar enmarcada en la función de tracing de la API de Claude. Tus respuestas nunca se suben; solo viven en el enlace permanente que decidas copiar (codificado en la URL) y en los archivos Markdown o CSV que exportes tú.
¿Qué diferencia hay entre metadata_only y el modo content, y por qué la herramienta pregunta tanto por ello?
El tracing de OpenTelemetry de la API de Claude tiene dos modos de contenido. metadata_only (el predeterminado) registra identificadores, tiempos, estado, recuentos de tokens y nombres de operaciones: suficiente para ver qué pasó sin las palabras. El modo content captura además los propios prompts y respuestas. El modo content da registros de auditoría mucho más ricos, pero crea un almacén de datos nuevo y muy sensible, así que el scorecard trata la elección, los controles de acceso a esos spans y su retención como decisiones de gobierno deliberadas y no como valores por defecto.
Si activo el tracing, ¿puedo fiarme de los spans para la facturación o para detectar una clave filtrada?
No, y el scorecard puntúa si lo entiendes. La entrega de trazas es best-effort: los spans pueden perderse o duplicarse, así que se deduplica por trace id más span id y nunca se toma un recuento de spans como dato fidedigno. El tracing no es un registro de uso completo: para la conciliación de facturación y para detectar claves filtradas o abusos, la fuente de verdad es la Usage API. Las trazas son pruebas de comportamiento ricas, no un libro de cuentas.
¿Por qué el scorecard pregunta por cosas que hay que activar antes de un incidente?
Porque varias fuentes de pruebas de IA no se pueden recuperar después. Según Invictus Incident Response, el Activity Feed de la Compliance API de Claude conserva seis años desde que se activa por primera vez, pero no se puede rellenar hacia atrás; la telemetría de Claude Code y Cowork solo existe si se configuró un destino antes de la actividad; y los prompts que tus propias aplicaciones envían a la API solo están en los logs de tus aplicaciones. La actualización de 2026-11 añadió preguntas sobre esto y trasladó algo de peso a la retención y la correlación. Fuente: Invictus Incident Response, Frontier Forensics: Anthropic (oct. 2026).
¿Es gratis?
No, es una herramienta Pro. Con una cuenta gratuita tienes 3 usos de prueba de herramientas Pro en total; después necesitas Pro.