Dai modelli “congelati” alle reti che imparano come il cervello umano: cosa ci aspetta dopo l’era dei Transformer?
L’altro giorno, mentre discutevo con mio figlio di come l’AI stia cambiando il nostro modo di lavorare, mi sono reso conto che la tecnologia che oggi ci sembra all’avanguardia – i famosi modelli Transformer – potrebbe essere già vicina al suo limite. Ricordo quando, negli anni ’90, pensavamo che il modem a 56k fosse il massimo della velocità: oggi, con la fibra ottica, ci sembra preistoria. Ecco, con l’AI sta succedendo qualcosa di simile. Siamo di fronte a una nuova soglia, e la domanda che mi pongo – e che pongo a voi lettori – è: cosa verrà dopo?
Negli ultimi dieci anni, i modelli Transformer hanno rivoluzionato il campo dell’intelligenza artificiale. Dal riconoscimento del linguaggio naturale alla generazione di immagini, questi modelli hanno permesso progressi che, fino a poco tempo fa, sembravano fantascienza. Il segreto? Il meccanismo di “attention”, che consente di valutare il contesto di ogni elemento in una sequenza, elaborando dati in parallelo e superando i limiti delle vecchie reti neurali ricorrenti.
Ma, come spesso accade nella tecnologia, ogni innovazione porta con sé nuovi limiti. I Transformer, per quanto potenti, sono “congelati” al momento del rilascio: una volta addestrati, non possono apprendere nuove informazioni senza essere riaddestrati da zero. È un po’ come se avessero una memoria a breve termine molto efficiente, ma fossero incapaci di formare nuovi ricordi a lungo termine. Questo li rende simili a un paziente affetto da amnesia anterograda: possono usare ciò che sanno, ma non imparare dall’esperienza quotidiana. [tomshw.it]
Inoltre, i Transformer richiedono enormi risorse computazionali, sia per l’addestramento che per l’inferenza. La loro “finestra di contesto” è limitata: possono gestire solo una quantità fissa di informazioni alla volta, il che limita la loro capacità di comprendere contesti molto ampi. E, come ho sperimentato personalmente nei progetti di videosorveglianza intelligente, adattare questi modelli a nuovi compiti è spesso un processo lungo e costoso. [umanesimod…itale.info]
I limiti strutturali dei Transformer
- Staticità della conoscenza: Una volta addestrato, il modello non può aggiornare la propria conoscenza in tempo reale. Questo è un problema enorme in settori dove le informazioni cambiano rapidamente.
- Costi computazionali: L’addestramento di un Transformer richiede hardware specializzato e grandi quantità di energia, rendendo l’AI accessibile solo a pochi grandi player.
- Finestra di contesto limitata: Anche i modelli più avanzati faticano a gestire sequenze molto lunghe, il che limita la loro applicabilità in compiti complessi come l’analisi di documenti estesi o la gestione di conversazioni prolungate.
- Difficoltà di fine-tuning: Adattare un modello a nuovi compiti spesso significa ricominciare da capo, con costi e tempi non trascurabili. [umanesimod…itale.info]
Le nuove frontiere: Nested Learning e oltre
Durante la conferenza NeurIPS 2025, Google Research ha presentato il paradigma del Nested Learning (NL), ispirato ai meccanismi di consolidamento della memoria umana. L’idea è di trasformare le reti neurali in sistemi dinamici, capaci di auto-modificarsi e aggiornare la propria conoscenza in tempo reale, senza dover essere riaddestrati completamente. In pratica, si passa da un modello “congelato” a uno che evolve organicamente attraverso l’uso, proprio come il nostro cervello. [tomshw.it]
Altre architetture emergenti includono:
- LCM di Meta: Modello che lavora a livello di concetti, non di singoli token, permettendo ragionamenti più astratti e una maggiore efficienza. Eccelle nella generalizzazione zero-shot, applicando conoscenze a lingue e modalità non viste durante l’addestramento.
- Titans di Google: Ispirato alla memoria umana, introduce tre livelli di memoria (breve termine, lungo termine, persistente), permettendo di gestire sequenze fino a 2 milioni di token e di richiamare contesti passati anche oltre i limiti attuali. Questo riduce il carico computazionale e rende il modello più flessibile. [rivista.ai]
- Transformer Squared di Sakana AI: Sviluppato dalla startup giapponese Sakana, punta a superare i limiti di scalabilità e adattabilità dei Transformer tradizionali, ottimizzando l’architettura interna invece di espandere indiscriminatamente il modello.
Queste innovazioni segnano un cambio di paradigma: non si tratta più solo di “fare modelli più grandi”, ma di renderli più intelligenti, adattivi e capaci di apprendere dall’esperienza.
Implicazioni pratiche
Per chi lavora nel settore IT, queste novità aprono scenari inediti. Immaginate sistemi di videosorveglianza che imparano a riconoscere nuovi comportamenti senza dover essere riprogrammati, o assistenti digitali che si aggiornano in tempo reale sulle esigenze dell’utente. Per le aziende, significa poter contare su soluzioni AI più flessibili, efficienti e meno costose da mantenere.
Ma attenzione: queste tecnologie sono ancora in fase di sviluppo e richiedono un cambio di mentalità. Non basta più “comprare” un modello e usarlo così com’è: bisogna pensare all’AI come a un sistema vivente, che va curato, aggiornato e monitorato costantemente.
Riflessioni finali
La tecnologia è uno strumento: sta a noi usarla saggiamente. Da uno che ha visto nascere Internet in provincia, posso dire che ogni rivoluzione porta con sé entusiasmo e rischi. L’AI che impara come il cervello umano è affascinante, ma va gestita con responsabilità. Vi invito a sperimentare, a restare curiosi e a condividere le vostre esperienze: solo così potremo davvero capire dove ci porterà questa nuova ondata di innovazione.
Nel prossimo articolo vedremo come queste nuove architetture si intrecciano con la sicurezza dei dati e la privacy, temi sempre più centrali nel mondo digitale.
Se vuoi approfondire, ti consiglio di leggere gli articoli di Tom’s Hardware, Umanesimo Digitale e Rivista AI, che hanno trattato in modo rigoroso e accessibile questi temi. [tomshw.it], [umanesimod…itale.info], [rivista.ai]
Rispondi