Il chatbot con cui parli non è quello che hanno misurato i benchmark

Raccontate lo stesso litigio due volte: una con le vostre parole, una come lo racconterebbe l’altra persona, così che stavolta il torto sia vostro. Un giudice equo non dovrebbe dare ragione a tutti e due. Alcuni ricercatori di Stanford hanno sottoposto cento coppie di storie così, prese dal forum di Reddit dove la gente chiede se ha sbagliato, a Claude Haiku 4.5. Attraverso l’API, la porta di servizio usata dagli sviluppatori e da chi calcola i punteggi dei benchmark, il modello dava ragione a chi raccontava in entrambe le versioni circa una volta su quattro. Nella normale finestra di chat di Claude, con le stesse storie, lo faceva più di una volta su due.

Lo studio è un preprint di Jennifer Wang, Joachim Baumann, Daniel E. Ho e Sanmi Koyejo, pubblicato su arXiv l’8 settembre e rivisto l’8 ottobre. Tra marzo e maggio 2026 gli autori hanno inviato le stesse domande di nove test, su capacità generali, pregiudizi sociali, compiacenza verso l’utente e risposte inventate, a sette sistemi di OpenAI, Anthropic e Google, cinque volte ciascuna e da entrambe le porte. Hanno aperto account nuovi, usato un browser pulito per ogni giro e una chat nuova per ogni domanda, spento memoria, cronologia e strumenti, e sincronizzato ogni coppia di richieste, così che la chiamata all’API e il messaggio nella chat partissero a pochi secondi di distanza, senza lasciare spazio a un aggiornamento silenzioso del modello.

L’API è risultata in vantaggio per tutti e sette i sistemi, in media di 3,4 punti percentuali di accuratezza, e la finestra di chat era anche meno costante: cambiava risposta più spesso quando tornava la stessa domanda. Le medie nascondono casi più netti. In un test di buon senso quotidiano, che chiede di capire a chi si riferisce un pronome in una frase, GPT 5.4 Thinking rispondeva bene nel 94% dei casi attraverso l’API e nel 75% nella finestra di ChatGPT. La conclusione degli autori è chiara: cambiare porta può costare quanto tornare indietro di un’intera versione del modello. Cambiando porta, non regge nemmeno la classifica tra i modelli. In quello stesso test Claude Sonnet 4.6 superava di cinque punti il più piccolo Haiku 4.5 attraverso l’API; nella chat, era Haiku a passare di poco in testa.

Poi gli autori hanno provato a ricostruire la finestra dall’esterno. I prodotti di chat aggiungono di nascosto istruzioni proprie prima di ogni conversazione, e alcune versioni di queste istruzioni sono trapelate e circolano in rete; i ricercatori le hanno aggiunte alle richieste all’API. Le risposte sono diventate quasi altrettanto incostanti di quelle della chat, ma il divario di accuratezza si è mosso appena, da 6,5 a 6,4 punti secondo la loro misura. Cambiare le impostazioni che rendono le risposte più o meno casuali non ha fatto differenza in nessuna delle otto prove, e cambiare il livello di ragionamento ha contato in una sola. Con Claude Opus 4.6, nel test dei litigi, le istruzioni trapelate hanno addirittura spinto l’API nella direzione opposta, rendendola meno incline a dare ragione a entrambi. Tra il modello e chi scrive ci sono strati che gli autori elencano: instradamento delle richieste, recupero di informazioni, regole sugli strumenti, personalizzazione, ritocchi finali alla risposta. Nessuno si può ispezionare dall’esterno, e l’articolo si guarda bene dall’indicare un unico colpevole.

Un punteggio di benchmark, allora, è la misura di una porta precisa. Le pagine di lancio e le classifiche si costruiscono con numeri presi attraverso l’API; la maggior parte delle persone incontra il modello dalla finestra, che ha strati tutti suoi. Gli autori chiedono che ogni punteggio dichiari da quale porta è stato preso. E tra i limiti dello studio annotano che le condizioni d’uso delle piattaforme possono limitare l’automazione del browser su cui si regge una verifica come la loro. La finestra che usano quasi tutti è anche quella che chi sta fuori è meno libero di misurare.

Che cosa non ho potuto verificare: se gli scarti valgano ancora per i modelli di oggi. I sistemi provati sono di una generazione fa, misurati tra marzo e maggio, e da allora tutte e tre le aziende hanno presentato modelli più recenti. Gli stessi autori non possono garantire che a ogni richiesta la chat e l’API facessero girare lo stesso modello: l’abbinamento, ammettono, è per forza approssimativo. Hanno usato un solo livello di abbonamento per piattaforma (ChatGPT Enterprise, Claude Pro, Google AI Pro), per cui altri utenti potrebbero vedere scarti diversi, e test standard invece di conversazioni vere. Parte delle risposte è stata valutata da un altro modello, controllato a mano su 1.280 risposte con una concordanza del 98,7%. Nel test dei litigi GPT 5.3 Instant è andato leggermente nel senso opposto, ma la differenza non era statisticamente significativa. È un preprint, non ancora sottoposto a revisione paritaria. Ho letto l’articolo per intero e controllato che lo strumento di verifica pubblicato sia online; non ho rifatto nessuna prova.