Ho trovato una piccola AI che impara da zero. Così ne ho costruita una mia.

La maggior parte dei progetti di intelligenza artificiale parte da qualcosa di enorme.

Un modello preaddestrato. Miliardi di parametri. Un'API nel cloud. Un cluster di GPU da qualche parte lontano.

mini-AGI parte quasi dall'estremo opposto.

Mi sono imbattuto nel progetto di volotat su GitHub. L’autore lo descrive con molta cautela come un esperimento di livello “toy”: un piccolo modello linguistico byte-level progettato per continuare a imparare dal testo che incontra.

Non c'è un'intelligenza preaddestrata nascosta sotto. Non c'è un enorme modello che aspetta dietro una chiamata API. La parte interessante è proprio il fatto che parte piccolo.

E quell'idea mi è rimasta in testa.

Cosa succederebbe se, invece di scaricare l'ennesimo modello sempre più capace, provassi a creare qualcosa che all'inizio non sa praticamente nulla?

Qualcosa che possa vivere sul mio computer, conservare ciò che ha imparato e cambiare gradualmente mentre interagisco con lui.

Così ci ho provato.

L'ho chiamato Tama.

Tama non è mini-AGI e non è un tentativo di riprodurre esattamente quel progetto. mini-AGI è stata la scintilla. Ho preso la parte dell'idea che mi affascinava di più — un minuscolo modello che parte da zero e si sviluppa localmente nel tempo — e ho iniziato a sperimentare sul mio Mac.

Questo cambia l'esperienza in un modo sorprendentemente importante.

Con ChatGPT, Claude o Gemini incontri un'intelligenza che arriva già formata. Fai una domanda e ti trovi immediatamente davanti a un'enorme quantità di capacità accumulate.

Con un piccolo modello addestrato da zero il rapporto è quasi rovesciato.

All'inizio, sostanzialmente, non c'è niente.

Caratteri, frammenti, schemi. Poi frammenti un po’ meno casuali. Cominciano ad apparire piccole regolarità. I progressi possono essere esasperatamente lenti e a volte quello che sembrava un progresso scompare di nuovo.

La domanda interessante smette di essere: “Quanto è intelligente questo modello?”

Diventa invece: “Che cosa sta cambiando?”

È un modo molto diverso di fare esperienza del machine learning.

C'è anche qualcosa di affascinante nella scala dell'esperimento. Vive su un normale computer personale. Il suo stato può essere salvato. L'addestramento può fermarsi e riprendere. Si può osservare ciò che accade senza fingere che la macchina sia improvvisamente diventata senziente.

È abbastanza piccolo da rimanere comprensibile come esperimento.

E forse è proprio per questo che mini-AGI mi ha incuriosito tanto.

Non perché prometta l'AGI. Non lo fa.

Suggerisce qualcosa di più discreto: sperimentare con l'intelligenza artificiale non deve necessariamente significare accedere a un modello più grande.

A volte può significare guardare un modello molto piccolo mentre comincia.