Benchmarks de agentes comparados: WorkBench, JobBench, BigLaw Bench

Todos los proveedores de agentes llegan ya con una cifra de benchmark. «Supera a la competencia en SWE-bench». «Estado del arte en GAIA». «Primero en BigLaw Bench». Las cifras no carecen de sentido, pero una puntuación alta en uno de estos benchmarks no dice casi nada de los demás, y el método de evaluación que hay debajo de cada uno decide cuánto vale la cifra. Esta es una guía de campo para responsables de seguridad sobre los benchmarks de agentes que es más probable que te enseñen: qué mide cada uno, cómo evalúa y qué preguntar antes de que una cifra se gane un lugar en una decisión.

Análisis para CISO y equipos de plataformas de IA y de GRC. Cada benchmark de este artículo enlaza a su fuente primaria. Cuando no estamos seguros de que un nombre corresponda a un benchmark real y publicado, lo decimos explícitamente en lugar de describirlo como establecido: todo el sentido de este artículo es leer los benchmarks con cuidado.

Si prefieres explorarlo de forma interactiva, nuestro Agent Benchmark Explorer es el complemento de este artículo: filtra los benchmarks por tipo de tarea y método de evaluación y mira cuáles se parecen de verdad a tu caso de uso.

La idea que hay que retener: una puntuación es el sistema entero, no el modelo

Antes de cualquier benchmark concreto, interioriza esto: la puntuación de un agente en un benchmark es una propiedad del modelo más su harness (los prompts, las herramientas, la memoria, la orquestación y los guardarraíles que envuelven al modelo), ejecutado sobre un conjunto de tareas concreto y medido por un evaluador concreto. Cambia cualquiera de los tres y la cifra se mueve. El trabajo Harness² de Google Cloud AI Research y la Universidad Northwestern (arXiv 2610.14224) lo concreta: optimiza el harness alrededor de un modelo fijo e informa de mejoras significativas en varios benchmarks de trabajo profesional; el modelo nunca cambió. Harness² es un método; los benchmarks son las varas de medir con las que se evalúa. Así que «el modelo X obtiene Y» es una frase incompleta. La completa es «el modelo X, en este harness, en esta partición del benchmark, evaluado de esta manera, obtuvo Y».

Cómo evalúan los benchmarks: la distinción que más importa

Hay tres grandes estilos de evaluación, y el estilo te dice cuánto se puede confiar en una cifra y cuánto se puede reproducir.

Como regla general: una puntuación programática basada en el resultado es la más defendible, una puntuación por rúbrica necesita que se revele la rúbrica antes de fiarte de ella, y una puntuación «evaluada por un LLM» sin rúbrica es una impresión, no una medición.

Los benchmarks, uno a uno

WorkBench: uso de herramientas de oficina, evaluado por el resultado

WorkBench (Styles et al., COLM 2024; código) pone a un agente en una oficina aislada en un sandbox: cinco bases de datos, 26 herramientas y 690 tareas como enviar correos, programar reuniones y actualizar registros. Su seña de identidad es la evaluación centrada en el resultado: cada tarea tiene un estado final correcto, único e inequívoco, así que el evaluador comprueba el estado final de la base de datos y no los pasos del agente, lo que significa que cualquier camino hasta el resultado correcto cuenta. El artículo original encontró que los agentes de base eran flojos (la mejor configuración resolvió bastante menos de la mitad de las tareas; los modelos más débiles, muchas menos) y señaló un modo de fallo relevante para la seguridad: las acciones equivocadas, como un correo enviado a la persona equivocada. Para un responsable, WorkBench es el indicador público más cercano a «¿puede este agente manejar nuestras herramientas internas sin causar daños?».

JobBench: trabajo profesional delegable, evaluado por rúbrica

JobBench («Aligning Agent Work With Human Will», 2026) abarca 130 tareas agénticas en unas 35 ocupaciones, cada una entregada como un espacio de trabajo desordenado con archivos de referencia mezclados, para que el agente tenga que separar la señal del ruido como en un trabajo real. La evaluación es una cadena de rúbricas ancladas en hechos (del orden de tres docenas de criterios binarios por tarea), así que puntúa la calidad del trabajo y no solo un estado final. Las mejores puntuaciones publicadas están muy por debajo de la fiabilidad humana (la mejor configuración del artículo cumple menos de la mitad de los criterios). Trata JobBench como una lectura del trabajo de conocimiento abierto, y recuerda que la que juzga es la rúbrica.

BigLaw Bench (+ BigLaw Bench: Research): trabajo jurídico, rúbricas de expertos

BigLaw Bench (Harvey, 2024) puntúa resultados jurídicos frente a rúbricas personalizadas redactadas por abogados que cubren la calidad de la respuesta y la fiabilidad de las fuentes, con puntos positivos por los elementos requeridos y negativos por errores como las citas inventadas. BigLaw Bench: Research (2026, creado con Snorkel AI) lo amplía a la investigación jurídica agéntica difícil: ¿puede un modelo buscar, razonar sobre la jurisprudencia y citarla de principio a fin como un abogado en ejercicio? Las puntuaciones publicadas por el proveedor (cifras de la propia Harvey, no mediciones independientes) muestran que los modelos de frontera mejoran con el tiempo; tómalas como orientativas y procedentes del proveedor. Es un recordatorio útil de que, en los ámbitos profesionales de alto riesgo, el evaluador es la rúbrica de un experto del dominio, y la rúbrica es el benchmark.

SWE-bench / SWE-bench Verified: correcciones de software reales, programático

SWE-bench (Jimenez et al.) da a un agente una incidencia real de GitHub y un repositorio y le pide un parche; la evaluación es puramente programática: se aplica el parche, se ejecuta la batería de pruebas del repositorio y pasa o falla. SWE-bench Verified es un subconjunto de 500 instancias revisado por personas (publicado con la participación de OpenAI) que elimina los problemas mal especificados o irresolubles para que la cifra signifique más. Una advertencia que conviene verificar antes de citarlo: hay información de que Verified ha suscitado preocupaciones de contaminación y de atajos, y de que están surgiendo variantes más nuevas (por ejemplo, «SWE-bench Pro»); comprueba el estado actual de la familia de benchmarks en lugar de dar por hecho que una cifra de 2024 sigue en pie. SWE-bench es el benchmark al que mirar para los agentes de programación autónomos, y su evaluación programática hace que sea uno de los más difíciles de falsear.

GAIA: razonamiento de un asistente general, respuesta exacta

GAIA (Mialon et al., Meta/Hugging Face) son 466 preguntas seleccionadas a mano que requieren razonamiento, uso de herramientas, navegación web y, a veces, multimodalidad, en tres niveles de dificultad. Las respuestas son cortas y factuales y se evalúan por coincidencia casi exacta con una clave reservada: fáciles de verificar y resistentes a la palabrería. GAIA es una buena lectura de la «competencia como asistente general», pero ten en cuenta que una clasificación con respuestas reservadas invita al sobreajuste con el tiempo, así que una puntuación muy alta en GAIA debería llevar a plantear la cuestión de la contaminación.

τ-bench / τ²-bench: uso de herramientas en atención al cliente, resultado + fiabilidad

τ-bench (Sierra) hace que un agente mantenga una conversación realista con un usuario simulado mientras llama a APIs del dominio (comercio, aerolíneas) y sigue una política escrita; la evaluación compara el estado final de la base de datos con el objetivo e informa de pass^k (el éxito en k intentos repetidos), lo que revela la fiabilidad y no solo la suerte en el mejor caso. τ²-bench (Barres et al., ICML 2026) lo amplía a un dominio de telecomunicaciones de control dual en el que pueden actuar tanto el agente como el usuario, modelado como un Dec-POMDP, y muestra que el rendimiento cae en picado cuando el agente tiene que guiar a un usuario en lugar de actuar solo. Para cualquiera que despliegue agentes de cara al cliente, el pass^k de τ-bench es la señal más relevante para producción de esta lista: mide si el agente acierta de forma constante.

WebArena: navegación web autónoma, comprobaciones funcionales

WebArena (Zhou et al., CMU) ejecuta agentes contra sitios web autoalojados y reproducibles (comercio electrónico, un foro, un alojamiento de código, un CMS, mapas) con 812 tareas evaluadas por su corrección funcional (¿se produjo el cambio de estado previsto, o coincide la información obtenida?). Como los sitios están autoalojados, las ejecuciones son reproducibles de un modo en que nunca lo es la web real. WebArena es la lectura de «¿puede este agente manejar un navegador a lo largo de una tarea de varios pasos?», una capacidad con implicaciones evidentes de tratamiento de datos y de radio de impacto.

MLE-bench: ingeniería de aprendizaje automático, umbrales de medalla

MLE-bench (OpenAI, ICLR 2025) suelta a los agentes en 75 competiciones reales de Kaggle (preparar datos, entrenar modelos, hacer experimentos) y evalúa de forma programática frente a los propios umbrales de medalla de Kaggle, usando las clasificaciones públicas como referencias humanas. El titular del artículo (la mejor configuración alcanza el nivel de medalla de bronce en una fracción modesta de las competiciones) recuerda que «puede construir sistemas de ML de forma autónoma» sigue siendo difícil. Es relevante si un proveedor afirma que un agente puede hacer trabajo de ciencia de datos o de ML sin supervisión.

BrowseComp: datos difíciles de encontrar, respuestas verificables

BrowseComp (OpenAI, 2025) son 1.266 preguntas diseñadas a propósito para que la respuesta sea difícil de encontrar pero fácil de verificar: el agente debe navegar con persistencia, filtrar el ruido y sintetizar, y después dar una respuesta corta que se comprueba con una clave. Aísla la investigación web profunda y de varios saltos. Una buena puntuación en BrowseComp dice que un agente es bueno encontrando datos enterrados; no dice nada de si puede actuar sobre ellos con seguridad.

AssistantBench: tareas web realistas y que llevan tiempo

AssistantBench (Yoran et al., EMNLP 2024) son 214 tareas realistas en la web abierta que llevan tiempo de verdad (seguir un mercado, encontrar negocios cercanos adecuados), con verificación automática de las respuestas y una métrica que da crédito parcial. Las puntuaciones en el lanzamiento fueron bajas (ningún modelo pasó mucho de un porcentaje de veintitantos), y eso es en sí la señal: la asistencia realista en la web abierta sigue sin resolverse. Útil como baño de realidad frente a las demos pulidas.

Qué debería hacer de verdad un responsable de seguridad u operaciones con una cifra de benchmark

1. Haz coincidir el benchmark con tu caso de uso. Programación (SWE-bench), uso de herramientas en atención al cliente (τ-bench), navegación web (WebArena), investigación profunda (BrowseComp/GAIA), trabajo de conocimiento profesional (JobBench/BigLaw Bench), ingeniería de ML (MLE-bench) y uso de herramientas de oficina (WorkBench) son trabajos distintos. Una puntuación fuera de objetivo es ruido.
2. Pregunta cómo se evaluó. Resultado programático, rúbrica de expertos o juez LLM o humano y, si es rúbrica o juez, ¿se ha revelado la rúbrica? Una cifra con rúbrica no revelada o con un simple juez LLM no es una prueba.
3. Fija la partición y la versión. SWE-bench frente a Verified frente a Pro; el GAIA original frente a una revisión posterior. ¿Se controló la contaminación y se reservaron las respuestas de prueba?
4. Prefiere la fiabilidad al mejor caso. pass^k (τ-bench) por encima de pass@1. Para todo lo que esté de cara al cliente, la constancia es la cifra que importa.
5. Haz que revelen el harness. El andamiaje, las herramientas y los prompts mueven las puntuaciones en dos cifras; Harness² es la prueba. «¿Qué harness produjo esto?» es una pregunta justa y reveladora.
6. Ponle fecha. Los benchmarks envejecen, se filtran y se manipulan. Una posición en una clasificación de hace dos años es una nota histórica, no un hecho actual.

Dónde encaja esto en la gobernanza que ya tienes

Los benchmarks son una entrada para las compras y para el aseguramiento, no un control. La capacidad que mide un benchmark se convierte en tu riesgo en el momento en que el agente toca tus sistemas, así que combina la puntuación con un modelo de amenazas (LLM Threat-Model Generator), un registro de procedencia del modelo y de sus componentes (generador de AIBOM) y las preguntas de gobernanza del harness que plantea un agente que se mejora a sí mismo (Harness Designer). Un benchmark te dice lo que un agente puede hacer en un conjunto de pruebas; tu gobernanza decide lo que tiene permitido hacer en producción.

La conclusión honesta

Ningún benchmark certifica por sí solo a un agente, y las comparaciones entre benchmarks son casi siempre peras con manzanas. Lee tres cosas cada vez: qué trabajo mide el benchmark, cómo evalúa y qué harness produjo la puntuación. Hazlo y una clasificación se convierte en un instrumento útil. Sáltatelo y una cifra de benchmark no es más que un adjetivo de un proveedor con decimales.

Fuentes y créditos

• WorkBench: arXiv 2405.00823 (Styles et al., COLM 2024); código.
• JobBench: arXiv 2605.26329 («Aligning Agent Work With Human Will»).
• BigLaw Bench y BigLaw Bench: Research: Harvey: Introducing BigLaw Bench, Expanding BigLaw Bench.
• SWE-bench: arXiv 2310.06770 (Jimenez et al.); SWE-bench Verified es el subconjunto de 500 instancias revisado por personas (verifica el estado actual de la familia).
• GAIA: arXiv 2311.12983 (Mialon et al., Meta/Hugging Face).
• τ-bench: arXiv 2406.12045 (Sierra); τ²-bench: ICML 2026 (Barres et al.).
• WebArena: arXiv 2307.13854 (Zhou et al., CMU).
• MLE-bench: arXiv 2410.07095 (OpenAI, ICLR 2025).
• BrowseComp: arXiv 2504.12516 (OpenAI).
• AssistantBench: arXiv 2407.15711 (Yoran et al., EMNLP 2024).
• Harness²: arXiv 2610.14224 (Google Cloud AI Research y Universidad Northwestern); verifica las cifras concretas de puntuación con la fuente primaria antes de citarlas.

Publicado el 19 de octubre de 2026. Cuando este resumen y la fuente primaria de un benchmark difieran, la fuente primaria es la autorizada. WorkBuddy-Bench y LAB son los benchmarks de evaluación propios del artículo de Harness²; a la fecha de publicación no encontramos una fuente primaria independiente para ellos fuera de ese artículo.