Por qué los benchmarks de los agentes de IA subestiman las capacidades reales
Durante años hemos tratado la capacidad de un agente de IA como un número fijo, casi como si fuera el tiempo de un velocista: se corre, se cronometra, se escribe el resultado en una pizarra. ¿Pero y si ese número dependiera del aliento que concedemos al corredor antes de detenerlo? Un informe publicado el 2 de julio de 2026 por el AI Security Institute, el instituto de seguridad de IA del gobierno británico, sugiere que es exactamente este el error oculto en muchas evaluaciones de los agentes: los estamos cronometrando con un silbato que suena demasiado pronto.
El AISI parte de una observación sencilla, casi banal dicha así. Casi todas las evaluaciones de agentes de IA reducen la capacidad a un solo número, una puntuación, un apto o no apto, la longitud de la tarea completada. Ese número, sin embargo, esconde una elección de diseño que raramente se declara con claridad: cuánto cálculo, cuánto "tiempo de razonamiento" en términos de tokens, se concede al agente antes de interrumpir el intento. Cambiar ese umbral, demuestra el informe, cambia la puntuación de forma sustancial, sobre todo para los modelos más recientes.
El número que esconde una elección
Para entender el punto hay que distinguir tres conceptos que en el debate público a menudo se confunden. El training compute es la potencia de cálculo gastada para entrenar un modelo, meses de GPU digiriendo datos antes incluso de que el usuario escriba una línea. El inference cost es cuánto cuesta, en dinero y en tiempo, obtener una sola respuesta una vez que el modelo está listo. El test-time compute, el verdadero protagonista del estudio, es en cambio cuánto cálculo puede gastar el agente mientras trabaja en una tarea específica durante la evaluación: cuántos pasos de razonamiento, cuántos intentos, cuántos tokens antes de que alguien, o algo, diga basta.
La distinción no es académica. Un modelo puede ser entrenado de forma idéntica y obtener puntuaciones muy diferentes según cuánto se le deje "pensar" en el momento del test. Y es aquí donde el AISI identifica el problema: los benchmarks más difundidos imponen presupuestos de tokens fijos, a menudo pensados para contener los costes computacionales de las evaluaciones a gran escala, no porque ese presupuesto represente un límite natural de la capacidad del modelo.
El equipo del instituto, la llamada Science of Evaluations, ha hecho algo conceptualmente refinado: en lugar de asignar un presupuesto y leer la puntuación final, ha hecho oscilar el presupuesto de bajo a alto y ha observado cómo cambiaba el rendimiento a lo largo de todo el recorrido. El resultado es lo que en el informe se llama capability curve, una curva de capacidad en lugar de un punto aislado. Si la curva sigue subiendo cuando la evaluación se interrumpe, la puntuación obtenida no es el techo de la capacidad del modelo, es solo el punto en el que alguien dejó de mirar.
Hay una imagen que resulta útil aquí, tomada de un ámbito lejano a los laboratorios de AI safety. En Return of the Obra Dinn, el videojuego de Lucas Pope en el que se reconstruye la suerte de la tripulación de un barco desaparecido observando instantáneas congeladas en el tiempo, cada escena que se puede observar cuenta solo un fragmento de la historia: detenerse demasiado pronto significa creer haberlo entendido todo cuando en realidad solo se ha visto un fotograma. Los benchmarks de alto presupuesto fijo corren el riesgo de funcionar del mismo modo: devuelven una instantánea convincente pero parcial de un proceso que, si se dejara continuar, revelaría mucho más.
Curvas, no puntuaciones: qué dicen los tests
Los investigadores han puesto a prueba modelos de frontera en una batería de benchmarks que cubre ciberseguridad, ingeniería de software, matemáticas, tareas académicas y sanidad, un abanico elegido a propósito para entender si el fenómeno era específico de un dominio o transversal.
En la suite de ciberseguridad del AISI, compuesta por tareas de tipo capture-the-flag, la tasa de éxito subió de forma constante a medida que crecía el presupuesto concedido por cada tarea. Cerca del 8% de las tareas se resolvieron solo cuando el presupuesto alcanzó los 10 millones de tokens, algunos casos requirieron hasta 50 millones. Con presupuestos más contenidos, esos éxitos habrían permanecido simplemente invisibles, clasificados como fracasos del modelo cuando en realidad eran fracasos de la medición.
El patrón se repite en benchmarks públicos muy citados en el sector. Pasar de 1 a 10 millones de tokens totales elevó el rendimiento en cerca del 25% en tareas de ingeniería de software como TerminalBench 2.0 y SWE-Bench Pro, y en cerca del 22% en matemáticas y tareas académicas medidas con Humanity's Last Exam, hasta 5 millones de tokens. En TerminalBench, sorprendentemente, el rendimiento continúa mejorando incluso cuando el presupuesto de tokens se eleva a diez veces el típicamente reportado en las evaluaciones públicas.
Hay, sin embargo, una excepción que vale tanto como una confirmación, y es aquí donde el informe gana credibilidad ante los ojos de quienes desconfían de los entusiasmos fáciles: en HealthBench, un benchmark sanitario, cada modelo se aplanó rápidamente dentro del presupuesto habitual. Más cálculo ayuda, explican los investigadores, sobre todo donde el agente puede verificar por sí solo su propio trabajo, ejecutando código, probando un exploit o controlando una demostración matemática. Ayuda mucho menos donde el feedback es débil, retrasado o ausente, como ocurre a menudo en el ámbito clínico. Es una distinción que merece la pena tener en cuenta cada vez que se lee un anuncio triunfal sobre "la IA que supera a los médicos": el contexto de la tarea cuenta tanto como el modelo.
El tiempo humano como unidad de medida
La parte quizás más intrigante del estudio se refiere al vínculo entre la duración de una tarea para un ser humano experto y el cálculo que un agente debe gastar para resolverla. Analizando tanto la suite cíber del AISI como las tareas de ingeniería de software recopiladas por METR, la organización que ha popularizado el concepto de "time horizon" de los agentes, los investigadores han hallado que el cálculo necesario para resolver una tarea crece en proporción a cuánto tiempo emplearía un profesional cualificado en completarla, y esto vale también para el intento exitoso más económico registrado para cada tarea, lo que sugiere que el suelo de cálculo requerido está fijado por la naturaleza de la tarea misma, no por un uso ineficiente de los recursos por parte del modelo.
La consecuencia práctica es que un presupuesto de evaluación fijo agota los tokens precisamente en las tareas más largas, mientras que las breves reciben de todos modos un intento completo. Un fracaso, en este escenario, puede significar que el agente no lo ha logrado, o simplemente que el tiempo a vuestra disposición se terminó antes. El caso citado en el informe es casi anecdótico en su claridad: "The Last Ones", un escenario cíber del AISI estimado que requiere a un experto humano cerca de veinte horas de trabajo, no fue resuelto por ningún modelo probado hasta que el presupuesto alcanzó al menos 30 millones de tokens.
Viene a la mente, para quienes han leído las colecciones de cuentos de Ted Chiang, la idea recurrente en sus textos de que la comprensión de un fenómeno depende de la escala temporal a la que se le observa, un concepto que en Exhalation toma la forma de un universo que revela su propia naturaleza solo a quien tiene la paciencia de medir su entropía en tiempos larguísimos. Las tareas complejas para un agente funcionan de modo no muy diferente: piden tiempo antes de mostrar qué hay de verdad detrás.
Cuánto de rápida es de verdad la frontera
Aquí el informe toca un nervio sensible del debate público sobre la IA, el de la velocidad del progreso. Desde hace tiempo se usa el concepto de "time horizon", introducido precisamente por METR, para estimar con qué rapidez se duplica la longitud de las tareas que un agente logra completar con cierta fiabilidad. En investigaciones anteriores, el AISI había estimado que el horizonte temporal de los modelos de frontera en sus propias tareas cíber se duplicaba cada 4,7 meses desde finales de 2024, medido sin embargo con un presupuesto fijo de 2,5 millones de tokens por tarea.
El nuevo estudio muestra que, para los modelos lanzados en el último año, la tasa de crecimiento estimada es cerca del 60% más pronunciada cuando el horizonte se calcula a 50 millones de tokens en lugar de a 2,5 millones. En otras palabras, el ritmo del progreso de frontera que leemos en los informes no es solo una propiedad de los modelos, es en parte un artefacto del presupuesto usado para medirlos. A nivel de modelo individual, el efecto es aún más vistoso: uno de los modelos de frontera probados ve cómo su horizonte crece de cerca de 40 minutos con un presupuesto de 2,5 millones de tokens a cerca de 4 horas con un presupuesto de 50 millones.
No es un detalle para expertos. Si el ritmo con el que los agentes se vuelven capaces de gestionar tareas cada vez más largas es subestimado sistemáticamente por los benchmarks estándar, entonces también las previsiones sobre cuándo se alcanzarán ciertos umbrales de riesgo o de utilidad económica deben revisarse al alza, o al menos mirarse con más cautela. No en vano el tema de los "doubling rate" es ya objeto de discusión encendida en la comunidad que estudia estas tendencias: algunos análisis independientes han puesto en duda la robustez estadística de las estimaciones de METR sobre la duplicación de los time horizons, sosteniendo que pequeñas modificaciones al scaffolding con el que los agentes son equipados pueden inflar artificialmente la pendiente de la curva. El estudio del AISI no resuelve esta controversia, pero la complica aún más, porque añade una segunda variable, el presupuesto de cálculo, a una medición que ya dependía pesadamente de elecciones metodológicas no siempre explicitadas.
Quién decide con números equivocados
La última sección del informe es la que más concierne a quienes no construyen los modelos pero deben decidir qué hacer con ellos: empresas que evalúan si confiar un proceso a un agente, reguladores que deben establecer umbrales de riesgo, periodistas que escriben artículos como este. Si una puntuación medida con presupuesto insuficiente hace aparecer a un modelo menos capaz de lo que sería en un uso real, donde el presupuesto de cálculo es a menudo menos restringido que en un laboratorio de evaluación, entonces las decisiones tomadas sobre esa base corren el riesgo de estar sistemáticamente por detrás de la realidad.
Esto vale en ambas direcciones, y es importante decirlo para no caer en el alarmismo. Por un lado, una empresa que descarta un agente porque ha fallado un test podría descartar una herramienta que con más tiempo de procesamiento habría funcionado. Por otro, quien se ocupa de seguridad y evalúa si un modelo pueda ser peligroso en un dominio sensible como la ciberseguridad ofensiva podría concluir, sobre la base de un presupuesto limitado, que el riesgo está bajo control, cuando en realidad la capacidad está ahí, simplemente no se ha dejado al modelo el espacio para demostrarla. El AISI lo escribe sin rodeos: las puntuaciones a presupuesto restringido pueden hacer injustas las comparaciones entre modelos, llevar a quien decide a subestimar las capacidades de los agentes y oscurecer el alcance real de los riesgos.
Los límites y las preguntas aún abiertas
Se debe decir con igual claridad que más cálculo no es una varita mágica universal. El caso de HealthBench lo demuestra, y el propio informe enumera tres preguntas para las que aún no tiene respuesta. La primera se refiere a dónde, exactamente, más cálculo produce de forma fiable más capacidad, y por qué: los beneficios parecen más fuertes donde el agente puede controlar por sí solo su propio trabajo, más débiles donde el retorno es ausente o ruidoso. La segunda pregunta es si el rendimiento a alto presupuesto, costoso de medir, puede estimarse a partir de ejecuciones más económicas, una pregunta nada teórica visto que evaluar un modelo a 50 millones de tokens por tarea tiene un coste computacional no despreciable. La tercera se refiere a cuánto es generalizable la relación entre tiempo humano y cálculo requerido, verificada hasta ahora solo en el ámbito cíber y de ingeniería de software.
Hay también una nota, casi escondida en una de las notas a pie de página del informe, que merece ser recogida porque desmiente una narrativa demasiado lineal: en una minoría no despreciable de tareas, entre el 10 y el 30% según la suite, los modelos más recientes lo hacen peor que sus predecesores. El progreso, en definitiva, no es una línea recta que sube siempre, se parece más a uno de esos mapas de un juego de rol independiente donde algunas habitaciones permanecen oscuras incluso cuando ya se ha explorado todo el resto del piso.
Qué cambia, en la práctica
El AISI declara que estos resultados están ya modificando su propio modo de evaluar los modelos: tests sobre presupuestos múltiples en lugar de sobre uno solo, informes que muestran fiabilidad y alcance en función del presupuesto en lugar de un solo número, el intento de definir "presupuestos mínimos informativos" más allá de los cuales un modelo deja de verdad de mejorar, y métodos para prever el rendimiento a alto presupuesto partiendo de ejecuciones más económicas. El instituto declara además compartir este enfoque con socios internacionales, señal de que la cuestión no se percibe como un detalle técnico interno sino como un problema de estándares compartidos.
Queda una pregunta que el informe plantea más que resolver, y es quizás la conclusión más honesta posible para una pieza de investigación que se ocupa de la medición más que de proclamas. Si el modo en que medimos los agentes de IA ha subestimado sistemáticamente lo que saben hacer, ¿cuánto más de la narrativa pública sobre el progreso de la inteligencia artificial, su velocidad, sus riesgos, los tiempos en los que se alcanzarán ciertos umbrales, se fundamente en fotografías tomadas con el obturador cerrado demasiado pronto? No es una pregunta a la que un solo informe, por riguroso que sea, pueda responder del todo. Pero es la pregunta adecuada que hacerse, cada vez que se lee un benchmark como si fuera un verdeto definitivo en lugar de una medida provisional, dependiente de elecciones que raramente se declaran en la tabla de resultados.