L’uiguro era primo nel conteggio dei media di Stato nei dati delle IA. La fonte principale scriveva in kazako

Quali voci sente un’intelligenza artificiale quando impara una lingua che in rete ha pochi testi? Un gruppo di ricercatori dell’Università della Pennsylvania e di altri quattro istituti è andato a cercarne una in particolare, quella dei media di Stato, nelle pagine web con cui si addestrano i modelli linguistici. Il loro dataset, pubblicato il 18 ottobre, confronta 640 testate possedute, gestite o fortemente influenzate da un governo con FineWeb e FineWeb-2, due raccolte aperte di testi dal web molto usate per l’addestramento. Fra le 114 lingue esaminate, in testa c’è l’uiguro: il 17,8 per cento di tutte le pagine classificate in questa lingua viene da media di Stato, e la maggior parte, secondo le valutazioni 2025 dell’osservatorio State Media Monitor, da testate sotto controllo statale. A una lettura rapida il numero sembra dire qualcosa di ovvio sullo Xinjiang. I dati pubblicati dicono altro.

Quel 17,8 per cento corrisponde a 29.479 pagine su 165.637, e viene da tre paesi. La quota più grande, 12.225 pagine, cioè il 41,5 per cento, è di Kazinform, l’agenzia di stampa nazionale del Kazakistan. Seguono 9.814 pagine di TRT, l’emittente di Stato turca, e 7.377 di Radio Free Asia, finanziata dal governo degli Stati Uniti. Dalla Cina non viene nemmeno una pagina. Radio Free Asia risulta sotto controllo statale solo con le valutazioni 2025, dopo che l’agenzia americana da cui dipende è stata riclassificata; con quelle del 2024, che la consideravano ancora indipendente, la quota controllata di queste pagine sarebbe del 33,5 per cento anziché del 58.

E Kazinform non scrive in uiguro. Le sue pagine nella raccolta vengono dalle sezioni in cui pubblica in kazako con l’alfabeto arabo, lo stesso dell’uiguro, e il programma che ha smistato FineWeb-2 per lingua le ha archiviate come uigure. Una mia prova rudimentale, che conta la parola «e», جانە in kazako e ۋە in uiguro, mette 8.683 delle 12.225 pagine di Kazinform dalla parte del kazako e nessuna da quella dell’uiguro; le altre sono troppo brevi per decidere. In una delle pagine di Kazinform il dispaccio si apre con «Astana. Qazaqparat», il nome kazako dell’agenzia. Sull’intera raccolta in uiguro la stessa prova indica il kazako per 46.175 pagine, più di un quarto.

L’uiguro dello Stato cinese, intanto, c’è ma non viene contato. La stessa raccolta contiene 13.498 pagine di Tianshan Net, il portale di notizie dello Xinjiang creato nel 2001 dal dipartimento di propaganda del Partito comunista regionale insieme a People’s Daily Online, di cui 7.601 dalla sua edizione in uiguro e 5.150 da quella in kazako, più 427 pagine dell’edizione uigura di Xinhua e 284 di quella del Quotidiano del Popolo. Restano fuori per ragioni banali. Tianshan Net non compare nell’elenco dell’osservatorio, e il metodo, a quanto pare, cerca soltanto gli indirizzi web registrati per ciascuna testata, mentre le edizioni uigure di Xinhua e del Quotidiano del Popolo si trovano ad altri indirizzi. Allo stesso modo è sottostimato il servizio uiguro di Radio Free Asia: altre 10.955 pagine con la stessa struttura, raccolte fra il 2019 e il 2023 da quello che sembra un secondo indirizzo del servizio, non sono state abbinate.

Gli autori non nascondono nulla di tutto questo. Scrivono che i loro conteggi ereditano la copertura e i filtri delle raccolte da cui attingono e che le valutazioni 2025 sono applicate a tutti gli anni; e non dicono di quale Stato siano i media che riempiono le pagine in uiguro: la loro sintesi è che in diverse lingue di questo tipo «le testate di uno o pochi Stati forniscono il 5-18%» dei dati web. Anche l’altro loro dato principale poggia su basi simili, come spiegano loro stessi: in inglese, la quota di pagine di media di Stato provenienti da testate controllate è salita dal 39 per cento nel 2013 al 93 nel 2025, in parte perché nel 2025 le emittenti del governo americano sono state riclassificate, in parte perché dal 2024 i media pubblici indipendenti chiudono la porta ai programmi che raccolgono pagine per l’addestramento, cosa che le testate controllate hanno fatto molto meno.

Per una lingua molto diffusa queste scelte pesano quanto un arrotondamento. Per una lingua poco diffusa ognuna sposta migliaia di pagine: quali testate stanno in un elenco, quale indirizzo vale come testata, quale lingua un classificatore crede di leggere, quale anno di valutazione si applica. La stessa pubblicazione mostra fin dove arriva il fenomeno. In tibetano il 95,7 per cento delle pagine di media di Stato è di Radio Free Asia. In bielorusso la seconda fonte per numero di pagine, Belsat, un canale che il dataset attribuisce alla Polonia, non ha nessuna valutazione. Se ci si chiede chi parli uiguro a una macchina, la risposta dipende meno dalla macchina che dalla contabilità che decide che cosa sia una pagina.

Che cosa ho verificato e che cosa no. Ho scaricato gli elenchi delle pagine abbinate dal dataset per l’uiguro, il tibetano, il bielorusso e altre nove lingue, la sua tabella delle testate e il file di addestramento in uiguro di FineWeb-2. Da questi ho ricalcolato il dato sull’uiguro (29.479 pagine su 165.637, il 17,80 per cento), la sua ripartizione per testata e per paese e la quota controllata con le valutazioni 2025 e 2024; il mio 58,3 per cento differisce di poco dal 58,5 dell’articolo, uno scarto che non so spiegare. Ho contato per indirizzo web, nello stesso file, le testate rimaste fuori. La prova sul kazako è un mio criterio approssimativo, non un identificatore di lingua, e non dico nulla delle pagine che non riesce a classificare. Le notizie sulle origini di Tianshan Net vengono dall’annuncio del suo lancio pubblicato da People’s Daily Online nel 2001; non ho verificato a chi appartenga il secondo indirizzo di Radio Free Asia né perché Kazinform venga contata pur non avendo una valutazione. Non ho ricalcolato l’andamento in inglese, il caso di studio su Russia e Ucraina né l’esperimento dell’articolo sul recupero di documenti, e non so quali modelli, se ce ne sono, siano stati addestrati proprio su questo file. L’articolo è un preprint, pubblicato il 18 ottobre e non sottoposto a revisione paritaria; non ho contattato gli autori.