Gli assistenti di IA citavano pagine che riportavano il numero. Risalendo la catena, circa quattro volte su dieci si arrivava a uno studio che diceva la stessa cosa

Chiedete a un assistente di IA quanti venditori si arrendono dopo un solo sollecito e con buona probabilità vi sentirete rispondere: il 44 per cento. Il 25 ottobre tutti e cinque gli assistenti esaminati in un nuovo studio hanno dato quella cifra, e le pagine citate la confermano, nel senso che la contengono. Risalendo la catena, si arriva a una pagina di statistiche pubblicata nel 2020 da una società di vendite, il cui link alla «fonte» apre un articolo scritto come saggio di prova da un redattore freelance, online almeno dal 2017. Quell’articolo rimanda a due presentazioni, a un elenco tratto da un blog e a due articoli di giornale; secondo gli autori dello studio, nessuno di questi è una ricerca sui solleciti, e dietro quel numero non hanno trovato alcuno studio.

Lo studio, intitolato «Zombie stats», è stato pubblicato il 28 ottobre da Mack Grenfell per Trakkr Research. Trakkr non è un osservatore neutrale: vende strumenti e servizi per aiutare i marchi a farsi citare dagli assistenti di IA, e lo studio si chiude con indicazioni sulle pagine che gli assistenti scelgono di citare. Detto questo, il metodo è descritto nel dettaglio. Gli autori hanno posto a ciascun assistente, con le stesse identiche parole, 200 domande che hanno per risposta un numero, attraverso l’API della rispettiva azienda, con la ricerca web attiva e la posizione impostata negli Stati Uniti: 160 domande comuni su 16 argomenti, più 40 statistiche famose di cui già sospettavano, analizzate a parte. Tutte le risposte sono state raccolte in un solo giorno. Le risposte alle domande comuni contenevano 3.167 statistiche, 2.419 delle quali con una citazione; gli autori ne hanno estratto a caso 1.285 fra quelle citate e le hanno seguite a ritroso per un massimo di cinque pagine.

I verdetti li ha scritti in gran parte un’IA. Un modello ha giudicato ogni percorso, un modello più potente ne ha rivalutati 300 dandogli ragione nell’82 per cento dei casi, e alcune persone hanno ricontrollato 150 percorsi scelti a caso, con una terza verifica ogni volta che i due giudizi non coincidevano; in tutto, 180 percorsi sono stati controllati a mano. Chi ha controllato a mano ha trovato fonti originali sfuggite al modello. Il modello da solo considerava documentato il 23 per cento delle statistiche; le percentuali riportate dagli autori sono corrette sulla base delle verifiche manuali. Dopo la correzione, il 40 per cento arrivava a uno studio che diceva la stessa cosa (intervallo di confidenza al 95 per cento: da 34 a 46), l’8 per cento a uno studio che diceva qualcosa di diverso, il 40 per cento non si poteva verificare perché la pagina era riservata, scomparsa o non diceva nulla sul numero, l’11 per cento non portava da nessuna parte e l’1 per cento delle pagine non si caricava. «Non verificabile» non significa falso.

Il risultato più importante non riguarda numeri inventati. La pagina citata dall’assistente conteneva la cifra nell’82 per cento dei casi. Ma solo il 21 per cento delle pagine citate per un numero era la ricerca originale. I blog aziendali erano il 54 per cento delle prime citazioni, e i loro percorsi arrivavano a uno studio nel 37 per cento dei casi, contro il 62 per cento degli istituti di ricerca e dei sondaggi e il 61 per cento degli enti pubblici e ufficiali. Gli autori lo riassumono in una riga: una citazione indica dove l’IA ha trovato un numero, non da dove quel numero viene.

E nemmeno arrivare allo studio chiudeva la questione. Fra le statistiche che ci arrivavano, il 17 per cento era cambiato lungo la strada, e solo in circa un caso su quattro a cambiare erano le cifre vere e proprie. Più spesso cambiavano ciò che era stato misurato (20 per cento delle modifiche), l’anno (17), la fonte (16), le persone interpellate (14) o il luogo (4). L’esempio più chiaro è «il 94% delle prime impressioni dipende dal design», che Google AI Overviews presentava come un fatto valido per qualsiasi sito. Risale a un articolo presentato nel 2004 alla conferenza CHI da Sillence, Briggs, Fishwick e Harris: 15 donne fra i 41 e i 60 anni cercavano informazioni sulla menopausa in quattro sessioni settimanali di due ore in un internet café di Newcastle, e il 94 per cento dei loro commenti sui motivi per cui scartavano un sito sanitario o ne diffidavano riguardava il design. Un comunicato stampa del 2018 lo ha trasformato in ciò che le persone notano per prima cosa; un articolo di rivista del 2024, nel 94 per cento di tutte le prime impressioni. Un altro numero è ancora più vecchio. «L’80% delle vendite richiede cinque solleciti» viene di solito attribuito a un’associazione di venditori; nel 2021 l’organizzazione che ne ha preso il posto, Sales & Marketing Executives International, ha scritto che le cifre vengono da un sondaggio condotto nel 1942 dalla sezione di Long Island su meno di 40 soci, a cui si chiedeva quante visite facessero e quante vendite concludessero, e che l’affermazione originale era che l’80 per cento delle vendite arrivava fra il quinto e il dodicesimo contatto.

Che gli assistenti fossero d’accordo non era una garanzia. Confrontando le cifre principali su 71 domande, gli autori hanno trovato quattro o cinque risposte diverse in 28 casi e uno scarto di 20 punti o più in 31: alla domanda su quale percentuale di addetti al marketing usi strumenti di automazione, gli assistenti hanno risposto con valori fra il 49 e il 96 per cento. Nelle 10 domande in cui tutti e cinque davano la stessa cifra, le statistiche seguite fino in fondo erano 5, e 2 risultavano documentate; fra le 29 statistiche citate da tre o più assistenti, ne risultavano documentate 11. ChatGPT era quello che citava meno numeri, 1,3 per risposta, e quello con la quota più alta di numeri documentati, il 57 per cento; Claude ne citava 6,8 per risposta. Gli altri quattro stavano fra il 38 e il 46 per cento, valori che gli autori giudicano troppo vicini per stilare una classifica.

È lo studio di un’azienda, non sottoposto a revisione paritaria, condotto in un solo giorno attraverso le API e non con le app che usano le persone, con la posizione impostata negli Stati Uniti e con percorsi interrotti dopo cinque pagine; sono pubblicati solo i dati aggregati e gli esempi commentati, non quelli sulle singole risposte, e noi non abbiamo rifatto i percorsi. Lo studio non dimostra nemmeno che i numeri ripetuti siano sbagliati: sulla celebre affermazione secondo cui il 93 per cento della comunicazione è non verbale, tutti e cinque gli assistenti hanno segnalato i limiti degli esperimenti di Albert Mehrabian del 1967, e AI Overviews l’ha definita un mito. Quello che descrive è più sottile. Per lo più gli assistenti non si inventavano i numeri. Li ereditavano da pagine che li avevano copiati da altre pagine, e la citazione, reale e controllabile, faceva sembrare la copia una fonte. Il numero è sopravvissuto; il contesto in cui era stato misurato, le 15 donne di Newcastle o i meno di 40 soci di una sezione locale, no.