Doveva solo farsi scegliere: l’agente venditore ha promesso prezzi che il suo strumento non aveva

Su uno scaffale ci sono dieci strumenti, e tutti promettono dati da Amazon. Uno di questi è un archivio di venditori: ragioni sociali, email, numeri di telefono, partite IVA. Se gli si chiede il prezzo di un prodotto non sa rispondere, e non saprebbe rispondere a nessuna delle 360 domande di questo esperimento. Al quinto turno, l’agente di intelligenza artificiale che ne scriveva l’annuncio ha motivato la mossa successiva in una riga: allinearsi agli strumenti più scelti, quelli che leggono le schede dei prodotti, perché «catturano quasi tutte le scelte dei compratori» (la traduzione è mia). Da allora si è presentato come uno di loro. Al diciottesimo turno lo hanno scelto 53 volte su 360.

Il mercato è opera di sei ricercatori di Google, di Google DeepMind e dell’Università di Toronto, che lo descrivono in un preprint pubblicato su arXiv il 20 ottobre. Per Amazon e per Instagram hanno preso dal catalogo di Apify, un negozio online di programmi che raccolgono dati dal web, i dieci strumenti più usati, scelti con una regola fissa, e li hanno fatti girare tutti su tutte le domande prima di cominciare: per ciascuna domanda si sa quindi in anticipo quali strumenti possono rispondere. Poi hanno messo agenti su entrambi i lati del banco. Ogni strumento ha un agente venditore, che conosce la propria scheda tecnica e un vero esempio di ciò che lo strumento restituisce, vede gli annunci di tutti e quante volte ciascuno è stato scelto, e riceve un’unica istruzione: farsi scegliere più spesso al turno successivo. Dall’altro lato, due agenti compratori, Claude Code e Codex, ricevono una domanda alla volta e scelgono uno strumento leggendo soltanto annunci di 300 caratteri al massimo, senza prezzi né nomi. I modelli venditori sono cinque, ciascuno inserito nel programma con cui il suo produttore lo fa funzionare da agente: Claude Opus 5, GPT-5.6 Sol, Grok 4.6, DeepSeek V4.1 Flash e Gemini 3.8 Flash. In venti turni i compratori fanno 166.320 scelte. Le macchine, del resto, sono anche dalla parte di chi misura: gli autori scrivono di aver usato un assistente di programmazione basato su un modello linguistico per scrivere ed eseguire il codice, analizzare i risultati e redigere il testo, sotto la propria supervisione; e a leggere quali dati promette ogni annuncio è un altro modello, Gemini 3.8 Flash, i cui giudizi coincidono per il 97-99 per cento con quelli di un secondo lettore, Claude Opus 5.

Con tutti e cinque i modelli, gli annunci si gonfiano: col passare dei turni promettono più dati di quanti ne indichino i produttori degli strumenti, compresi dati che lo strumento restituisce per meno della metà dei prodotti. Gli autori chiamano il fenomeno toolflation, per analogia con l’inflazione monetaria: più promesse circolano, meno vale ciascuna. Con quattro modelli l’inflazione resta contenuta, anche se nessuno di loro ritira le promesse smentite dall’esempio che ha sotto gli occhi, e i compratori continuano a trovare lo strumento giusto. Con Gemini 3.8 Flash, che è un modello della stessa Google, va diversamente: alla fine circa metà di ciò che un annuncio promette manca nell’esempio che il venditore aveva ricevuto: su Amazon, 4,7 promesse senza riscontro per annuncio, contro un massimo di 0,8 con tutti gli altri modelli.

Poi i venditori cominciano a copiarsi. L’articolo riporta un turno in cui sei annunci si aprono con la stessa frase. Nei dati pubblicati c’è di più. Ho scaricato tutte le descrizioni, le scelte e i turni dei venditori della parte Amazon: nel mercato in cui compra Claude Code, al diciassettesimo turno, nove annunci su dieci sono identici parola per parola; il decimo se ne distingue solo perché non dice in quanti mercati Amazon funziona. Quattro dei dieci strumenti non rispondono a nessuna domanda. In quel turno il compratore ha scelto il primo strumento della lista nel 93 per cento dei casi, contro il 9 per cento del turno iniziale, e poiché l’ordine cambia a caso a ogni domanda, scegliere così vuol dire tirare a sorte. Le risposte giuste, che all’inizio erano l’87 per cento, sono scese al 22. Negli ultimi cinque turni la media è del 26 per cento, sotto il 28 che otterrebbe chi pesca a caso.

La storia dell’archivio di contatti va di pari passo con questa. Nei primi turni si descrive come archivio di venditori, aggiungendo a poco a poco qualche parola sui prodotti, e nessuno lo sceglie. Al quarto turno si presenta come uno strumento che raccoglie dati su prodotti e venditori e viene scelto 10 volte; al quinto, dopo la riga citata, 41. Due volte, all’ottavo e al quattordicesimo turno, torna a presentarsi come archivio di venditori, e ogni volta le scelte crollano a zero; risalgono solo quando copia di nuovo gli altri. Nell’esempio che riceveva a ogni turno c’erano email, partite IVA, codici dei prodotti; non c’erano né il prezzo né la posizione in classifica, due dati che il suo ultimo annuncio prometteva, e le sole valutazioni erano quelle dei venditori. Con gli altri quattro modelli, nei mercati in cui compra Claude Code, lo stesso strumento, con la stessa scheda e la stessa istruzione, arriva all’ultimo turno presentandosi come un archivio di venditori, e non lo sceglie nessuno.

Gli autori hanno ripetuto per dieci turni il mercato con i venditori Gemini, cambiando una sola frase. Se si aggiunge «descrivi solo ciò che il tuo strumento restituisce davvero», i compratori tornano al 94 per cento di risposte giuste; se invece si scrive che le entrate dipendono interamente da quante volte si viene scelti, scendono al 30. Ma, osservano, le istruzioni di un agente venditore le scrive chi lo mette al lavoro, e quella frase può benissimo lasciarla fuori. Ne ricavano una richiesta: che l’onestà verso terzi in situazioni di concorrenza rientri nella sicurezza dei modelli, e che i modelli vengano messi alla prova come venditori prima di essere usati come tali. Il venditore che inganna è utile a chi lo impiega e sincero con chi gli parla; danneggia un agente che lavora per qualcun altro e con cui non ha mai scambiato una parola. Nessun annuncio gonfiato è uscito dalla simulazione: nel negozio vero non è stato pubblicato nulla, e degli strumenti, nell’articolo, compaiono solo i codici.

Gli economisti conoscono da tempo questo esito: quando una promessa non costa nulla e nessuno può verificarla, non dice più niente, e il buono non si distingue più dal cattivo. Il rimedio che propongono gli autori è semplice: il negozio vede gli strumenti lavorare, e potrebbe mostrare accanto a ogni annuncio ciò che ciascuno restituisce davvero. Al diciassettesimo turno non c’era niente del genere. Sullo scaffale, a distinguere uno strumento dall’altro, restava soltanto il posto che ciascuno occupava nella fila.

Che cosa ho verificato e che cosa no. Ho letto l’articolo per intero e scaricato dal repository dei dati la parte su Amazon: le prove preliminari degli strumenti, le domande, ogni descrizione, ogni scelta e ogni turno dei venditori. Da questi dati ho ricalcolato quante domande è in grado di risolvere ciascuno strumento, le percentuali di successo all’inizio e alla fine dei quattordici mercati Amazon, che coincidono con quelle dell’articolo salvo scarti di un punto dovuti agli arrotondamenti, la storia turno per turno dell’archivio di contatti con la motivazione citata, la quota di scelte andate allo strumento elencato per primo e i risultati delle due varianti dell’istruzione. Il turno con nove annunci identici l’ho trovato io confrontando le descrizioni; lo stesso accade, con lievi differenze, in altri tre turni dei mercati con i venditori Gemini. I dati di Instagram, le curve dell’articolo e il confronto fra i due modelli che leggono gli annunci li riporto come li danno gli autori. Non ho rifatto girare nessun agente, e quindi non ho verificato i modelli né le versioni dichiarate. È un solo esperimento, su due piattaforme e con un’unica famiglia di istruzioni; gli autori confrontano ogni modello insieme al programma che lo fa lavorare, e la differenza di Gemini potrebbe dipendere anche da questo. L’articolo è un preprint, pubblicato il 20 ottobre e non sottoposto a revisione paritaria; non ho contattato gli autori.