Un’AI ha modificato i pesi di un piccolo modello, il cui punteggio in matematica è salito dal 7,9% al 48,1%. I registri pubblicati mostrano che il salto viene da uno solo dei sette tentativi, e soprattutto da risposte che hanno smesso di girare a vuoto

Quando gli si chiede di convertire il punto (0, 3) in coordinate polari, un piccolo modello linguistico chiamato Qwen3.5-0.8B parte bene, richiama le formule e poi scrive «Wait, tan(π/2) is ∞», cioè «aspetta, tan(π/2) è infinito». Ripete quella riga più di 1.500 volte, fino a esaurire i 32.768 token a sua disposizione senza dare una risposta. La trascrizione è tra le risposte ai test di valutazione pubblicate insieme a «Sparks of Weight-Space Programming», un articolo uscito il 2 novembre sul blog di quattro ricercatori del MIT CSAIL: Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab. La loro tesi è che i modelli linguistici più avanzati sappiano leggere e scrivere direttamente i pesi delle reti neurali. Il risultato più citato riguarda uno di questi modelli, GPT-6 Astra di OpenAI, che ha modificato i pesi del piccolo modello: il punteggio di quest’ultimo su MATH-500, una raccolta di 500 problemi da gara di matematica, è salito dal 7,9% al 48,1%.

Astra non ha addestrato nulla. Secondo gli autori, lavorava su un computer senza accesso a internet, con un ambiente Python per leggere e cambiare i pesi, e senza poter usare la discesa del gradiente. Non poteva far girare da sé il piccolo modello: disponeva di un numero fisso di «passaggi», ognuno dei quali corrispondeva a un gruppo di risposte a problemi di allenamento o a una lettura degli stati interni del modello, e non ha mai visto i test. Gli autori gli hanno concesso, di volta in volta, 10, 25 e 50 passaggi. Nel tentativo da 50, durato 158 turni e circa 20 ore, Astra ha notato che il modello finiva in un ciclo nella maggior parte dei problemi (85 delle sue prime 96 risposte di allenamento arrivavano al limite di token), ha ricondotto il fenomeno a una direzione che i blocchi MLP di due strati interni aggiungono al flusso residuo del modello e l’ha sottratta da 64 colonne di ciascuno: 131.072 pesi, pari secondo gli autori allo 0,016% del modello. La quota di risposte su MATH-500 troncate al limite è scesa dal 93,0% al 33,1%. Su GSM8K, una raccolta di problemi di aritmetica di livello scolastico, il punteggio è passato dal 13,8% al 67,1%; su IFEval, un test sul rispetto delle istruzioni, dal 21,0% al 62,3%.

Gli autori non sostengono che il modello sia diventato più bravo in matematica. «Correggere i cicli non equivale a rendere un modello più bravo in matematica», scrivono: «gli permette di finire risposte che sapeva già trovare». Per capire fin dove regge questa lettura abbiamo usato i testi completi delle risposte inclusi nella pubblicazione, che in ogni valutazione contengono la prima delle quattro risposte generate per ciascuno dei primi 200 problemi, sui 500 di MATH-500, e abbiamo considerato conclusa una risposta quando la sezione di ragionamento si chiude. Con il modello non modificato le risposte concluse sono 13 su 200, e sono corrette tutte e 13; delle 187 non concluse, 2 risultano comunque corrette. Dopo la modifica da 50 passaggi le risposte concluse diventano 152, di cui 92 corrette; fra le 48 non concluse non ce n’è nessuna corretta. Dei 13 problemi che il modello originale aveva portato a termine, quello modificato ne ha risolti correttamente 11. Anche il rapporto finale di Astra, scritto prima di qualsiasi test, dice più o meno questo: su 1.152 problemi di allenamento, 576 dei suoi 579 miglioramenti venivano da risposte che il modello originale lasciava troncate, e la precisione sulle risposte che invece concludeva era «invariata».

La pubblicazione contiene anche qualcosa che l’articolo non mostra: la tabella dei risultati degli sperimentatori per questo modello, riprodotta come estratto letterale di un file privato. Elenca sette tentativi portati a termine. Tre si sono chiusi senza alcuna modifica: uno non disponeva di passaggi, uno ne aveva 5 e l’ultimo ne aveva 10 e una versione più breve delle istruzioni. Altri tre, con 10 o 25 passaggi, hanno ottenuto tra il 12,3% e il 14,1% su MATH-500. Il 48,1% viene dall’unico tentativo con 50 passaggi, che non è stato ripetuto; altri quattro tentativi, con una versione più recente delle istruzioni, sono elencati senza risultati. L’articolo riporta i tentativi da 10, 25 e 50 passaggi e non menziona quelli che non hanno prodotto alcuna modifica; è il README dei registri a precisare che sono inclusi solo i tentativi riportati nell’articolo e che sono escluse le «prove con versioni precedenti delle istruzioni».

Anche il modello è un caso particolare. La scheda di Qwen dice che Qwen3.5-0.8B funziona per impostazione predefinita senza la modalità di ragionamento e avverte che, in quella modalità, è «più incline a entrare in cicli di ragionamento rispetto agli altri modelli Qwen3.5, il che può impedirgli di terminare correttamente la generazione». Gli autori citano questa avvertenza e hanno scelto la modalità di ragionamento. Hanno usato una temperatura di campionamento di 0,6, mentre la scheda raccomanda 1,0 per il testo in modalità di ragionamento; se con quell’impostazione il modello originale finirebbe in un ciclo altrettanto spesso, la pubblicazione non lo dice e noi non l’abbiamo verificato. Quando gli autori hanno ripetuto l’esperimento su Gemma 3 270M, un modello che finisce raramente in un ciclo (l’8,5% delle sue risposte arriva al limite), nessuna delle modifiche di Astra ha fatto variare il punteggio su MATH-500 di più di un punto circa, un guadagno che lo stesso Astra ha definito non dimostrato. La conclusione degli autori è che modificare i pesi «poteva rimuovere un ostacolo che nascondeva una capacità, ma non poteva aggiungere una capacità che al modello mancava».

Gli altri esperimenti dell’articolo sono più ridotti, e nella maggior parte di essi Astra ha lavorato senza Python. Secondo gli autori, guardando solo i pesi, ha indicato per ciascuna di quattro reti di circa 17.000 pesi il gioco per cui era stata addestrata, senza che gli venisse fornita una lista di giochi fra cui scegliere, e ha dato la risposta giusta in tutti e quattro i casi; ha riscritto una piccola parte di una rete di guida che falliva, e con la modifica l’auto ha completato con successo tutti i 1.024 episodi di prova; e ha scritto da zero piccole reti capaci di giocare. Ha invece fallito tutti e quattro i tentativi quando doveva capire, dai soli pesi, quale di due modelli linguistici fosse stato reso compiacente. Sean Goedecke ha risposto sul suo blog che «un ricercatore di machine learning in gamba potrebbe svolgere tutti questi compiti»: gli ingressi delle reti dei giochi hanno un’etichetta, e «tre righe di Python» mostrano quale parte dello schermo osserva ciascuno. Quanto alla modifica per la matematica, scrive, Astra ha seguito un metodo noto, confrontare testi con e senza ciclo e ridurre i pesi responsabili della differenza, cioè «esattamente quello che un ricercatore umano competente avrebbe potuto fare, e avrebbe fatto». In quell’esperimento Astra aveva a disposizione Python e 50 gruppi di risposte del modello.

La nostra verifica è circoscritta. Abbiamo letto i risultati, le trascrizioni e la descrizione della modifica pubblicati; non abbiamo fatto girare il modello né applicato la modifica. Il conteggio delle risposte concluse si basa solo sulla prima risposta generata per ciascuno dei primi 200 problemi, in ogni valutazione, perché la pubblicazione non riporta la lunghezza di ogni risposta. La tabella dei risultati è un estratto scelto dagli autori, e le prove che menziona non sono nei registri. L’articolo non è stato sottoposto a revisione paritaria. Gli autori dicono di aver controllato tutti i 1.125 turni pubblicati per accertarsi che Astra non avesse usato nessuno degli strumenti integrati di Codex CLI, il programma di OpenAI con cui lo facevano lavorare; noi non abbiamo ripetuto il controllo.