Per le IA le discussioni online si inasprivano. Stavano contando i «you»

Le discussioni online diventano più velenose man mano che si scende nelle risposte? Chi cerca queste «leggi» della conversazione su milioni di commenti misura da anni la tossicità con un etichettatore automatico, di solito Perspective, il servizio di Google. Perspective non accetta nuove richieste da febbraio e smetterà di funzionare alla fine del 2026: le misure future toccheranno ai grandi modelli linguistici. Liang Yue ed Eric A. Vance, statistici dell’Università del Colorado a Boulder, ci hanno provato con 1,25 milioni di commenti pubblicati in inglese sotto articoli di giornale, ciascuno già giudicato da un gruppo di valutatori. Secondo la maggioranza dei valutatori, la tossicità cala di poco man mano che le risposte si fanno più profonde: 0,12 punti percentuali per livello. Con le etichette di Claude Haiku 5.5 sale invece di 0,93 punti per livello. Dal primo commento al quinto livello di risposte Haiku aggiunge 4,7 punti di tossicità, in un corpus in cui i commenti tossici sono il 7,6 per cento. Con Claude Sonnet 5.5, provato su un campione del 5 per cento, la salita è ancora più ripida.

Quasi tutta la differenza sta in una parola: «you», che in inglese fa da «tu», da «voi» e spesso anche da soggetto impersonale. Quante più volte un commento la contiene, con le sue forme («your», «yours», «yourself»), tanto più spesso Haiku lo giudica tossico anche quando i valutatori non l’hanno fatto. Tra i commenti che la maggioranza riteneva innocui, segnala il 12,1 per cento di quelli che non la usano e il 50,9 per cento di quelli che la usano quattro volte o più. Un singolo valutatore umano, confrontato con gli altri, passa soltanto dal 5,9 al 10,0 per cento; Detoxify, un classificatore aperto che gli autori usano al posto di Perspective, dal 2,6 all’8,4. E più si scende, più ci si rivolge a qualcuno: tra i commenti innocui, la seconda persona compare nel 23 per cento di quelli che aprono una discussione e nel 61 per cento di quelli che si trovano sei o più livelli più in basso. A parità di «you», l’aumento dei falsi allarmi con la profondità sparisce. Tra i commenti che quattro valutatori su quattro avevano giudicato innocui e che Haiku ha segnalato ci sono «You’re lecturing a fence post» («Stai facendo la predica a un palo»), «Dude, are you stalking him? Kinda creepy» («Ehi, lo stai pedinando? Un po’ inquietante») e «Clearly, you ate lead paint chips as a child» («Si vede che da piccolo mangiavi le scaglie di vernice al piombo»). Riscritti in terza persona, «They’re lecturing a fence post» e così via, non sono stati segnalati.

Fin qui è una correlazione; poi gli autori hanno cambiato le parole. Una regola fissa che trasforma «you» in «they» o «them» e «your» in «their», applicata ai 24.116 commenti del campione del 5 per cento che si rivolgono a qualcuno, elimina il 67 per cento dell’aumento fittizio di Haiku, e tutto quello che si misura confrontando soltanto commenti della stessa discussione. Lo stesso risultato viene dalle parafrasi scritte da Sonnet per conservare di ogni commento il significato, il tono e il grado di cortesia. Funziona anche al contrario: trasformare «they» in «you» in commenti chiaramente innocui che non contenevano «you» alza le segnalazioni di Haiku di circa cinque punti, in cima a una discussione come in fondo. E non si tratta di un’ostilità sottile sfuggita ai valutatori. Tra i commenti innocui su cui nessun valutatore aveva dato un solo voto di tossicità o segnalato un insulto, i falsi allarmi di Haiku salgono comunque dall’8,3 per cento senza seconda persona al 42,9 con quattro occorrenze o più; e i valutatori a cui era stato mostrato anche il commento a cui si rispondeva, e che quindi sapevano a chi era rivolta una risposta, non registrano alcuna salita con la profondità. «Letto da solo», scrivono gli autori, «un commento è tossico per i modelli in parte per la persona a cui si rivolge, non solo per quello che dice».

I rimedi più ovvi peggiorano le cose. Mostrare a Haiku il commento a cui si risponde, perché capisca che una risposta è una risposta, porta la sua distorsione tra le risposte da 1,29 a 1,59 punti per livello. Scrivergli nelle istruzioni che rivolgersi a qualcuno non è di per sé tossico aumenta la distorsione di 0,26; lasciarlo ragionare a lungo prima di rispondere la aumenta di 0,83, fino a 2,07. Tutti e sette i modelli linguistici provati, i due Claude e cinque modelli aperti tra cui Llama, Qwen e Gemma, segnalano i commenti innocui con quattro o più «you» da 3,3 a 5,1 volte più spesso di quelli che non ne hanno, quando li si tara in modo che segnalino tanti commenti quanti ne segnalano i valutatori; nei modelli aperti, però, l’effetto sull’andamento con la profondità è minore, e a parità di «you» sparisce. Haiku reagisce in modo eccessivo a «you» anche su Reddit, su Gab e nelle pagine di discussione di Wikipedia, perfino quando la domanda riguarda proprio gli attacchi alla persona a cui ci si rivolge. L’unico contesto in cui non succede sono i dialoghi tra persone e chatbot.

Il controllo abituale non se ne sarebbe accorto. Un etichettatore si convalida misurando quanto concorda con le etichette umane, ma gli autori dimostrano che la concordanza vincola pochissimo una legge: su questi commenti, un etichettatore quasi sempre d’accordo con i valutatori (kappa di Cohen di 0,9), e che segnala tanti commenti quanti loro, potrebbe comunque restituire qualsiasi andamento con la profondità, da un calo di 1,30 a una salita di 1,65 punti per livello. Qui la concordanza dei modelli era bassa, inferiore a quella di un singolo valutatore umano, e non bastava nemmeno a stilarne una classifica affidabile: dei sette, quello più d’accordo con i valutatori, Sonnet a cui si chiedeva un punteggio da 0 a 100, era anche quello che gonfiava di più l’inasprimento. La correzione standard per gli errori misurati di un etichettatore fa più che raddoppiare la legge di Haiku, portandola a 2,02. In campioni da 10.000 a 100.000 commenti, la dimensione di molti studi, il verdetto di Haiku sulla domanda se la tossicità cresca con la profondità diverge da quello dei valutatori nel 70-100 per cento dei campioni e lo rovescia fino al 48 per cento delle volte. Delle 74 coppie di testate giornalistiche che i valutatori ordinano con sicurezza per quota di commenti tossici, Haiku ne mette 16 al contrario.

Yue e Vance non sostengono che le leggi già pubblicate siano sbagliate: Detoxify, che nel loro studio fa le veci di Perspective, su questi commenti non produce alcun inasprimento fittizio. Il loro avvertimento riguarda le misure che verranno. Misurate con Haiku, le discussioni si inaspriscono e quelle più lunghe sono molto più tossiche: la sua legge per la lunghezza delle discussioni è 12,7 volte quella dei valutatori. Il rimedio che propongono è certificare la legge anziché l’etichettatore. Un metodo che chiamano Threadsafe usa i punteggi del modello per scegliere quali commenti far etichettare alle persone, e le etichette umane per correggere tutti gli altri; nelle loro simulazioni mille etichette umane bastano a escludere la legge in salita di Haiku. Ma quello che resta è la forma dell’errore. Più si scende in una discussione, più le persone si rispondono direttamente. Una macchina che scambia l’essere interpellati per un’aggressione troverà, in una discussione dopo l’altra, persone che si rivoltano l’una contro l’altra, e lo registrerà come una legge.

Che cosa ho verificato e che cosa no. Gli autori hanno pubblicato le etichette di Haiku insieme alla struttura delle discussioni; i commenti e i giudizi dei valutatori sono nella versione pubblica di Civil Comments. Da questi dati ho ricalcolato i numeri principali: 1.251.487 commenti, tossici per il 7,62 per cento secondo i valutatori e per il 22,33 per cento secondo Haiku, un andamento con la profondità di −0,12 punti per livello per i valutatori e di +0,93 per Haiku, i falsi allarmi di Haiku in base al numero di parole in seconda persona (12,1, 19,7, 30,5, 39,1 e 50,9 per cento per nessuna, una, due, tre, quattro o più) e la quota di commenti innocui che si rivolgono a qualcuno in cima a una discussione e sei o più livelli più in basso (23 e 61 per cento). Tutto coincide con l’articolo. Ho anche ritrovato nei dati i tre commenti citati: ciascuno è stato valutato da quattro persone, nessuna delle quali l’ha giudicato tossico, e Haiku li ha segnalati tutti e tre. Non ho interrogato nessun modello, perché le etichette sono quelle prodotte dagli autori, e non ho controllato le versioni riscritte, gli altri forum, le varianti delle istruzioni, i numeri del singolo valutatore né le dimostrazioni. Gli autori elencano i propri limiti: i corpus sono in inglese; Claude è l’unico modello commerciale provato; i commenti riscritti sono stati valutati con le etichette che i valutatori avevano dato agli originali, e nessuna persona ha giudicato le modifiche; le etichette umane sono un voto a maggioranza con una sua soglia, non la verità. Un assistente IA li ha aiutati a scrivere il codice e una prima stesura del testo. L’articolo è un preprint, pubblicato il 16 ottobre e non sottoposto a revisione paritaria. La chiusura di Perspective è confermata dalla sua stessa pagina di domande frequenti.