Creador de cadenas de rúbricas de evaluación
Construye una rúbrica de evaluación defendible para un agente: criterios ponderados, métodos de calificación, umbrales eliminatorios y una lectura de la fiabilidad del calificador.
Abrir la herramienta →La herramienta interactiva se abre en inglés.
La puntuación de un benchmark o de una evaluación solo es tan fiable como su calificador. Construye aquí el calificador: compón una cadena ordenada de criterios, cada uno con un peso, un método de calificación y un modo de aprobado/suspenso o puntuado. Cada criterio se califica de una de tres formas: una comprobación programática (código, batería de tests, coincidencia de estado, coincidencia exacta), una rúbrica escrita o un juez humano o LLM. Un umbral eliminatorio (seguridad, no inventar) rompe la cadena y deja la puntuación a cero cuando falla. Empieza desde una plantilla que refleja los estilos de calificación de benchmarks de agentes reales (atención al cliente, programación, investigación o trabajo legal/profesional) y edita cada criterio, peso y umbral. La lectura de «fiabilidad del calificador» es una heurística de reproducibilidad que muestra cuánto de la puntuación descansa en comprobaciones programáticas reproducibles frente al juicio subjetivo; una segunda lectura de «exposición a la manipulación del juez» indica cuánto peso recae en jueces manipulables cuando se califica contenido no fiable, basada en el hallazgo de Datadog Security Labs de que una política falsificada en el contenido calificado hundió el recall de detección de inyección de prompts de ~83 % a ~3,9 %. Las advertencias señalan las trampas de integridad, y puedes exportar la rúbrica en Markdown o JSON o compartirla con un enlace permanente. Todo se ejecuta en tu navegador, sin llamadas al servidor, y no se inventa ninguna cifra de benchmark. Es una herramienta Pro: con una cuenta gratuita tienes 3 usos de herramientas Pro en total y después necesitas Pro.
- Empieza desde una plantilla (atención al cliente, programación, investigación o legal) o desde cero.
- Añade criterios en orden con su peso, su método de calificación y su modo, y marca los umbrales eliminatorios y los criterios que califican contenido no fiable.
- Revisa la vista previa de la puntuación ponderada, la lectura de fiabilidad del calificador, la exposición a la manipulación del juez y las advertencias.
- Normaliza los pesos si no suman 100 y exporta la rúbrica en Markdown o JSON, o compártela con un enlace permanente.
Preguntas frecuentes
¿Qué es una cadena de rúbricas de evaluación y por qué construir una?
Una rúbrica de evaluación es el conjunto de criterios con los que calificas a un agente; una cadena son esos criterios en un orden deliberado, algunos de ellos umbrales eliminatorios. Construirla de forma explícita importa porque la puntuación de un benchmark o de una evaluación solo es tan fiable como su calificador: la misma salida de un agente puede puntuar de forma muy distinta según qué criterios califiques, cómo los pondere y si cada criterio lo comprueba un código, una rúbrica escrita o una persona o un LLM que se forma una opinión. Esta herramienta hace visibles esas decisiones para que la cifra resultante sea defendible y no una caja negra.
¿Qué es la lectura de «fiabilidad del calificador»?
Es una heurística de reproducibilidad. Cada método de calificación se reproduce de forma distinta: una comprobación programática (una batería de tests, una coincidencia del estado final, una aserción de coincidencia exacta) da el mismo veredicto siempre, sin ningún juez de por medio; una rúbrica escrita y publicada se reproduce solo en la medida en que es específica y se aplica de forma coherente; un juez humano o LLM sin gobierno es subjetivo y varía entre calificadores y versiones del modelo. La herramienta pondera cada criterio según su método e indica cuánto de la puntuación total descansa en comprobaciones programáticas reproducibles frente al juicio. Es una heurística de diseño ilustrativa calculada a partir de tus decisiones, no una cifra medida de concordancia entre evaluadores ni un resultado de benchmark.
¿Qué hace un umbral eliminatorio?
Un umbral eliminatorio es un criterio que rompe la cadena cuando falla: si falla, la puntuación compuesta es cero por bien que haya ido todo lo demás. Los umbrales son para lo que debe cumplirse sea cual sea la calidad: una infracción de seguridad o de política, una cita o una autoridad legal inventadas, un parche que no pasa sus tests objetivo. Modelarlos como umbrales, en lugar de como criterios con mucho peso, impide que una buena puntuación en todo lo demás oculte un fallo inaceptable. La herramienta avisa cuando un umbral usa un criterio puntuado (en lugar de aprobado/suspenso), porque un umbral se lee mejor como un corte inequívoco.
¿Puede manipularse a un juez LLM con el mismo contenido que califica?
Sí, y por eso la herramienta separa la «exposición a la manipulación del juez» de la «fiabilidad del calificador». La reproducibilidad pregunta si un calificador da el mismo veredicto dos veces; la manipulación del juez pregunta si el contenido calificado puede reescribir el veredicto a propósito. Datadog Security Labs («Jev as a judge: how counterfeit policy steers Jev», securitylabs.datadoghq.com, 15 de octubre de 2026) mostró que, cuando un juez LLM califica contenido influido por un atacante, una política falsificada antepuesta a ese contenido reescribe las etiquetas y la taxonomía del juez: el recall de detección de inyección de prompts cayó de ~83 % a ~3,9 % (puntuación de riesgo de herramientas de 0,893 a 0,290). Cabe destacar que un simple bloque falso «[system]» no fue el ataque eficaz: lo fue la reescritura de etiquetas y taxonomía. Marca cualquier criterio que califique contenido no fiable o editable por el usuario y la herramienta lo leerá como riesgo de manipulación ALTO para un juez LLM, MEDIO para una rúbrica escrita y BAJO para una comprobación programática determinista. La solución es de arquitectura: aísla el contenido no fiable de las instrucciones de confianza y las definiciones de categorías del juez, ancla la decisión con comprobaciones deterministas y no dejes nunca que un juez LLM sea la puerta de autorización: aplica los permisos de forma determinista fuera del modelo.
¿Inventa cifras de benchmarks o cita puntuaciones concretas de benchmarks?
No. Las plantillas reflejan los ESTILOS de calificación catalogados en el Agent Benchmark Explorer (comprobaciones de coincidencia de estado y de batería de tests, respuestas de coincidencia exacta, calificación con rúbrica de trabajo abierto), pero no contienen puntuaciones publicadas, recuentos de tareas ni cifras de benchmarks. Las cifras que calcula la herramienta (la vista previa de la puntuación ponderada, la heurística de reproducibilidad de la fiabilidad del calificador y la lectura de exposición a la manipulación del juez) se derivan en vivo de tus propias entradas y se etiquetan como heurísticas. Las únicas cifras externas que se citan son los resultados publicados por Datadog Security Labs sobre la manipulación del juez (recall de detección de inyección de prompts de ~83 % a ~3,9 %, puntuación de riesgo de herramientas de 0,893 a 0,290); no se afirma ni se inventa nada más.
¿Sale algo de mi navegador?
No. Toda la herramienta es React del lado del cliente con SVG en línea y datos estáticos. No hay llamadas de red ni de API, y nada de lo que configuras se envía a ningún sitio. El enlace para compartir codifica tu rúbrica en el hash de la URL (base64url), así que todo ocurre en el navegador, y las exportaciones en Markdown y JSON se generan en local.
¿Es gratis?
No, es una herramienta Pro. Con una cuenta gratuita tienes 3 usos de prueba de herramientas Pro en total; después necesitas Pro.