Perché i benchmark degli agenti AI sottostimano le capacità reali

Per anni abbiamo trattato la capacità di un agente AI come un numero fisso, quasi fosse il tempo di un centometrista: si corre, si cronometra, si scrive il risultato su una lavagna. Ma se quel numero dipendesse dal fiato che concediamo al corridore prima di fermarlo? Un report pubblicato il 2 luglio 2026 dall'AI Security Institute, l'istituto di sicurezza AI del governo britannico, suggerisce che è esattamente questo l'errore nascosto in molte valutazioni degli agenti: li stiamo cronometrando con un fischietto che suona troppo presto.

L'AISI parte da un'osservazione semplice, quasi banale detta così. Quasi tutte le valutazioni di agenti AI riducono la capacità a un singolo numero, un punteggio, un pass o fail, la lunghezza del compito completato. Quel numero però nasconde una scelta di progettazione che raramente viene dichiarata con chiarezza: quanto calcolo, quanto "tempo di ragionamento" in termini di token, viene concesso all'agente prima di interrompere il tentativo. Cambiare quella soglia, dimostra il report, cambia il punteggio in modo sostanziale, soprattutto per i modelli più recenti.

Il numero che nasconde una scelta

Per capire il punto bisogna distinguere tre concetti che nel dibattito pubblico vengono spesso confusi. Il training compute è la potenza di calcolo spesa per addestrare un modello, mesi di GPU che digeriscono dati prima ancora che l'utente scriva una riga. L'inference cost è quanto costa, in denaro e in tempo, ottenere una singola risposta una volta che il modello è pronto. Il test-time compute, il vero protagonista dello studio, è invece quanto calcolo l'agente può spendere mentre lavora su un compito specifico durante la valutazione: quanti passaggi di ragionamento, quanti tentativi, quanti token prima che qualcuno, o qualcosa, dica basta.

La distinzione non è accademica. Un modello può essere addestrato in modo identico e ottenere punteggi molto diversi a seconda di quanto gli si lascia "pensare" nel momento del test. Ed è qui che l'AISI individua il problema: i benchmark più diffusi impongono budget di token fissi, spesso pensati per contenere i costi computazionali delle valutazioni su larga scala, non perché quel budget rappresenti un limite naturale della capacità del modello.

Il team dell'istituto, la cosiddetta Science of Evaluations, ha fatto qualcosa di concettualmente raffinato: invece di assegnare un budget e leggere il punteggio finale, ha fatto scorrere il budget da basso ad alto e ha osservato come cambiava la performance lungo tutto il percorso. Il risultato è quella che nel report viene chiamata capability curve, una curva di capacità anziché un punto isolato. Se la curva sta ancora salendo quando la valutazione si interrompe, il punteggio ottenuto non è il soffitto della capacità del modello, è solo il punto in cui qualcuno ha smesso di guardare.

C'è un'immagine che torna utile qui, presa da un ambito lontano dai laboratori di AI safety. In Return of the Obra Dinn, il videogioco di Lucas Pope in cui si ricostruisce la sorte dell'equipaggio di una nave scomparsa osservando istantanee congelate nel tempo, ogni scena che si può osservare racconta solo un frammento della storia: fermarsi troppo presto significa credere di aver capito tutto quando in realtà si è visto solo un fotogramma. I benchmark ad alto budget fisso rischiano di funzionare allo stesso modo, restituiscono un'istantanea convincente ma parziale di un processo che, se lasciato proseguire, rivelerebbe molto di più.

Curve, non punteggi: cosa dicono i test

I ricercatori hanno messo alla prova modelli di frontiera su una batteria di benchmark che copre cybersecurity, ingegneria del software, matematica, compiti accademici e sanità, un ventaglio scelto apposta per capire se il fenomeno fosse specifico di un dominio o trasversale.

Sulla suite di cybersicurezza dell'AISI, composta da compiti di tipo capture-the-flag, il tasso di successo è salito in modo costante man mano che cresceva il budget concesso per singolo compito. Circa l'8% dei task è stato risolto solo quando il budget ha raggiunto i 10 milioni di token, alcuni casi hanno richiesto fino a 50 milioni. A budget più contenuti, quei successi sarebbero semplicemente rimasti invisibili, classificati come fallimenti del modello quando in realtà erano fallimenti della misurazione.

Il pattern si ripete su benchmark pubblici molto citati nel settore. Passare da 1 a 10 milioni di token totali ha alzato le prestazioni di circa il 25% su compiti di ingegneria del software come TerminalBench 2.0 e SWE-Bench Pro, e di circa il 22% su matematica e compiti accademici misurati con Humanity's Last Exam, fino a 5 milioni di token. Su TerminalBench, sorprendentemente, le prestazioni continuano a migliorare anche quando il budget di token viene portato a dieci volte quello tipicamente riportato nelle valutazioni pubbliche.

C'è però un'eccezione che vale quanto una conferma, ed è qui che il report guadagna credibilità agli occhi di chi diffida degli entusiasmi facili: su HealthBench, benchmark sanitario, ogni modello si è appiattito rapidamente entro il budget consueto. Più calcolo aiuta, spiegano i ricercatori, soprattutto dove l'agente può verificare da solo il proprio lavoro, eseguendo codice, testando un exploit, controllando una dimostrazione matematica. Aiuta molto meno dove il feedback è debole, ritardato o assente, come spesso accade in ambito clinico. È una distinzione che vale la pena tenere a mente ogni volta che si legge un annuncio trionfale su "l'AI che supera i medici": il contesto del compito conta quanto il modello. Immagine tratta dal report aisi.gov.uk

Il tempo umano come unità di misura

La parte forse più intrigante dello studio riguarda il legame tra la durata di un compito per un essere umano esperto e il calcolo che un agente deve spendere per risolverlo. Analizzando sia la suite cyber dell'AISI sia i compiti di ingegneria del software raccolti da METR, l'organizzazione che ha reso popolare il concetto di "time horizon" degli agenti, i ricercatori hanno trovato che il calcolo necessario per risolvere un compito cresce in proporzione a quanto tempo impiegherebbe un professionista qualificato a completarlo, e questo vale anche per il tentativo riuscito più economico registrato per ciascun compito, il che suggerisce che il pavimento di calcolo richiesto sia fissato dalla natura del compito stesso, non da un uso inefficiente delle risorse da parte del modello.

La conseguenza pratica è che un budget di valutazione fisso esaurisce i token proprio sui compiti più lunghi, mentre quelli brevi ricevono comunque un tentativo completo. Un fallimento, in questo scenario, può significare che l'agente non ce l'ha fatta, oppure semplicemente che il tempo a disposizione è finito prima. Il caso citato nel report è quasi aneddotico nella sua chiarezza: "The Last Ones", uno scenario cyber dell'AISI stimato richiedere a un esperto umano circa venti ore di lavoro, non è stato risolto da nessun modello testato fino a quando il budget non ha raggiunto almeno 30 milioni di token.

Viene in mente, per chi ha letto le raccolte di racconti di Ted Chiang, l'idea ricorrente nei suoi testi che la comprensione di un fenomeno dipenda dalla scala temporale a cui lo si osserva, un concetto che in Exhalation prende la forma di un universo che rivela la propria natura solo a chi ha la pazienza di misurarne l'entropia su tempi lunghissimi. I compiti complessi per un agente funzionano in modo non troppo diverso: chiedono tempo prima di mostrare cosa c'è davvero dietro.

Quanto è veloce davvero la frontiera

Qui il report tocca un nervo scoperto del dibattito pubblico sull'AI, quello della velocità di progresso. Da tempo si usa il concetto di "time horizon", introdotto proprio da METR, per stimare quanto rapidamente raddoppia la lunghezza dei compiti che un agente riesce a completare con una certa affidabilità. In ricerche precedenti, l'AISI aveva stimato che l'orizzonte temporale dei modelli di frontiera sui propri compiti cyber raddoppiasse ogni 4,7 mesi da fine 2024, misurato però con un budget fisso di 2,5 milioni di token per compito.

Il nuovo studio mostra che, per i modelli rilasciati nell'ultimo anno, il tasso di crescita stimato è circa il 60% più ripido quando l'orizzonte viene calcolato a 50 milioni di token invece che a 2,5 milioni. In altre parole, il ritmo del progresso di frontiera che leggiamo nei report non è solo una proprietà dei modelli, è in parte un artefatto del budget usato per misurarli. A livello di singolo modello, l'effetto è ancora più vistoso: uno dei modelli di frontiera testati vede il proprio orizzonte crescere da circa 40 minuti con un budget di 2,5 milioni di token a circa 4 ore con un budget di 50 milioni.

Non è un dettaglio da addetti ai lavori. Se il ritmo con cui gli agenti diventano capaci di gestire compiti sempre più lunghi è sistematicamente sottostimato dai benchmark standard, allora anche le previsioni su quando certe soglie di rischio o di utilità economica verranno raggiunte vanno riviste al rialzo, o quantomeno guardate con più cautela. Non a caso il tema dei "doubling rate" è già oggetto di discussione accesa nella comunità che studia questi trend: alcune analisi indipendenti hanno messo in dubbio la robustezza statistica delle stime di METR sul raddoppio dei time horizon, sostenendo che piccole modifiche allo scaffolding con cui gli agenti vengono equipaggiati possano gonfiare artificialmente la pendenza della curva. Lo studio dell'AISI non risolve questa controversia, ma la complica ulteriormente, perché aggiunge una seconda variabile, il budget di calcolo, a una misurazione che già dipendeva pesantemente da scelte metodologiche non sempre esplicitate. Immagine tratta dal report aisi.gov.uk

Chi decide con numeri sbagliati

L'ultima sezione del report è quella che più riguarda chi i modelli non li costruisce ma deve decidere cosa farne: aziende che valutano se affidare un processo a un agente, regolatori che devono stabilire soglie di rischio, giornalisti che scrivono articoli come questo. Se un punteggio misurato con budget insufficiente fa apparire un modello meno capace di quanto sarebbe in un uso reale, dove il budget di calcolo è spesso meno vincolato che in un laboratorio di valutazione, allora le decisioni prese su quella base rischiano di essere sistematicamente in ritardo rispetto alla realtà.

Questo vale in entrambe le direzioni, ed è importante dirlo per non scadere nell'allarmismo. Da un lato, un'azienda che scarta un agente perché ha fallito un test potrebbe scartare uno strumento che con più tempo di elaborazione avrebbe funzionato. Dall'altro, chi si occupa di sicurezza e valuta se un modello possa essere pericoloso in un dominio sensibile come la cybersicurezza offensiva potrebbe concludere, sulla base di un budget limitato, che il rischio è sotto controllo, quando in realtà la capacità c'è, semplicemente non si è lasciato al modello lo spazio per dimostrarla. L'AISI lo scrive senza mezzi termini: i punteggi a budget ristretto possono rendere ingiusti i confronti tra modelli, portare chi decide a sottostimare le capacità degli agenti e oscurare la reale portata dei rischi.

I limiti, e le domande ancora aperte

Va detto con altrettanta chiarezza che più calcolo non è una bacchetta magica universale. Il caso di HealthBench lo dimostra, e lo stesso report elenca tre domande a cui non ha ancora risposta. La prima riguarda dove, esattamente, più calcolo produce affidabilmente più capacità, e perché: i guadagni sembrano più forti dove l'agente può controllare da solo il proprio lavoro, più deboli dove il riscontro è assente o rumoroso. La seconda chiede se le prestazioni ad alto budget, costose da misurare, possano essere stimate a partire da run più economiche, una domanda tutt'altro che teorica visto che valutare un modello a 50 milioni di token per compito ha un costo computazionale non trascurabile. La terza riguarda quanto sia generalizzabile la relazione tra tempo umano e calcolo richiesto, verificata finora solo in ambito cyber e ingegneria del software.

C'è anche una nota, quasi nascosta in una delle note a piè di pagina del report, che merita di essere riportata perché smentisce una narrazione troppo lineare: su una minoranza non trascurabile di compiti, tra il 10 e il 30% a seconda della suite, i modelli più recenti fanno peggio dei loro predecessori. Il progresso, insomma, non è una linea retta che sale sempre, è più simile a una di quelle mappe di un gioco di ruolo indipendente dove alcune stanze restano buie anche quando si è già esplorato tutto il resto del piano.

Cosa cambia, in pratica

L'AISI dichiara che questi risultati stanno già modificando il proprio modo di valutare i modelli: test su budget multipli invece che su uno solo, report che mostrano affidabilità e portata in funzione del budget invece che un singolo numero, il tentativo di definire "budget minimi informativi" oltre i quali un modello smette davvero di migliorare, e metodi per prevedere le prestazioni ad alto budget partendo da run più economiche. L'istituto dichiara inoltre di condividere questo approccio con partner internazionali, segno che la questione non è percepita come un dettaglio tecnico interno ma come un problema di standard condivisi.

Resta una domanda che il report pone più che risolvere, ed è forse la più onesta conclusione possibile per un pezzo di ricerca che si occupa di misurazione piuttosto che di proclami. Se il modo in cui misuriamo gli agenti AI ha sistematicamente sottostimato ciò che sanno fare, quanto altro della narrazione pubblica sul progresso dell'intelligenza artificiale, la sua velocità, i suoi rischi, i tempi in cui certe soglie verranno raggiunte, si fonda su fotografie scattate con l'otturatore chiuso troppo presto? Non è una domanda a cui un singolo report, per quanto rigoroso, possa rispondere del tutto. Ma è la domanda giusta da farsi, ogni volta che si legge un benchmark come se fosse un verdetto definitivo invece che una misura provvisoria, dipendente da scelte che raramente vengono dichiarate nella tabella dei risultati.