Prendiamo un neonato, un bambino sano con tutto il nostro patrimonio genetico, e cresciamolo in totale isolamento. Nutrito, tenuto al caldo, ma senza che nessuno gli rivolga mai la parola, gli mostri un utensile o gli trasmetta le scoperte di chi lo ha preceduto. Lasciamolo da solo per vent’anni in una radura. Quello che otterremo non sarà uno scienziato o un ingegnere. Sarà un animale terrorizzato dal fuoco, incapace di contare oltre le dita di una mano e destinato a perdere in uno scontro diretto con quasi tutte le creature della sua stazza. A tutti gli effetti, si tratterebbe di uno scimpanzé con una dentatura peggiore.

Ci siamo raccontati una storia lusinghiera sul perché dominiamo il pianeta, ma è una storia falsa. Ci piace credere che il motivo sia la nostra intelligenza, che tra noi e le altre scimmie si sia accesa una scintilla di pura potenza cerebrale e che il resto sia stato inevitabile. Eppure, il bambino isolato dimostra che la sola potenza di calcolo non porta quasi da nessuna parte. Un singolo cervello umano, per quanto dotato, non inventa il calcolo infinitesimale, gli antibiotici o la ruota. A stento inventa la lancia. Qualsiasi cosa ci abbia resi la specie dominante sulla Terra, non è l’organo racchiuso all’interno dei nostri crani.

È ciò che scorre tra di essi.

Il protocollo, non il processore

Quella cosa è il linguaggio. Considerarlo semplicemente un mezzo per condividere i pensieri, come si fa di solito, sminuisce enormemente la sua reale funzione. Il linguaggio è un protocollo di coordinamento. Permette a perfetti sconosciuti che non si incontreranno mai di agire come se fossero un unico organismo. Il denaro ne è l’esempio più lampante. Una banconota è una frase condivisa a cui tutti abbiamo accettato di credere; in virtù di essa, un contadino in un paese nutre un impiegato in un altro paese che non conoscerà mai. La legge è un’altra di queste frasi, e lo stesso vale per il concetto di nazione. Nessuna di queste entità esiste nel mondo fisico. Esistono perché siamo in grado di codificare una finzione attraverso il linguaggio e fare in modo che milioni di sconosciuti la mettano in atto simultaneamente. Questa è la tesi sostenuta da Yuval Noah Harari in Sapiens, e non ne ho mai trovata una migliore. Tali miti, scrive l’autore, conferiscono ai Sapiens “la capacità senza precedenti di cooperare in modo flessibile e in grandi numeri”.^[1]

La seconda funzione del linguaggio è ancora più importante, e si esplica nel tempo anziché nello spazio: la conoscenza si accumula. Un fisico oggi non è una creatura più intelligente di quanto lo fosse Newton. Ha semplicemente ereditato tre secoli di scoperte condensate di cui Newton doveva fare a meno, e ne ha assimilato la maggior parte leggendo. La scrittura è stata la prima memoria esterna costruita dalla nostra specie, un modo per immagazzinare ciò che una mente aveva appreso al di fuori di essa, affinché non morisse con la sua fine. Ogni generazione parte da un punto più avanzato rispetto alla precedente, non perché i nostri cervelli migliorino, ma perché migliora l’archivio delle informazioni.

Il nostro vero superpotere, dunque, non è mai stato l’elaborazione dei dati. È stato il protocollo, insieme all’archivio che ci ha permesso di conservare. Il che solleva un interrogativo sulle macchine che stiamo costruendo oggi.

Abbiamo costruito qualcosa che padroneggia il nostro linguaggio

Per settant’anni, il timore diffuso riguardo all’intelligenza artificiale è stato che una macchina potesse superarci nel pensiero. Immaginavamo un computer capace di giocare a scacchi in modo impeccabile o di macinare cifre che nessun essere umano potrebbe mai tenere a mente. Quelle macchine sono arrivate, ma non hanno cambiato quasi nulla nell’equilibrio di potere tra le specie, perché il calcolo non ne è mai stato l’origine. Poi, quasi in silenzio, abbiamo costruito un tipo di macchina del tutto diverso e, che ne fossimo consapevoli o meno, l’abbiamo puntata dritta al cuore del protocollo.

Un large language model è un sistema la cui intera competenza risiede nel linguaggio. Non una lingua in particolare, ma tutte contemporaneamente, insieme al codice informatico, alla matematica, alla stesura di testi legali e all’arte della persuasione, il tutto racchiuso in forma testuale. Coordina e accumula in modo nativo, essendo stato costruito fagocitando l’archivio che la nostra specie ha impiegato millenni a comporre, imparando poi a portarlo avanti. Nell’unico campo di battaglia che ha decretato quale animale dovesse dominare il pianeta, oggi condividiamo il terreno con un’entità in grado di operare più velocemente e su scala più vasta di qualsiasi persona in vita.

Harari lo aveva previsto. Scrivendo a quattro mani con Tristan Harris e Aza Raskin nel 2023, ha espresso il concetto nel modo più chiaro possibile: “Il linguaggio è il sistema operativo della cultura umana. Dal linguaggio emergono il mito e la legge, gli dèi e il denaro, l’arte e la scienza, le amicizie, le nazioni e il codice informatico”. Acquisendo la padronanza del linguaggio, avvertivano, l’IA “si sta impadronendo della chiave maestra della civiltà”.^[2]

È proprio questo il cambio di prospettiva che continua a sfuggire al dibattito pubblico. Non abbiamo costruito una macchina che ci batte a scacchi. Abbiamo costruito una macchina dotata di capacità sovrumane nell’esatta abilità che ci ha resi dominanti in primo luogo. Per comprendere perché questo dovrebbe inquietare anziché impressionare, è utile sapere come l’abbiamo costruita, dato che non l’abbiamo creata come facciamo con tutto il resto.

Due modi per costruire una mente

Ci sono sempre state due strade per arrivare all’intelligenza artificiale, e per gran parte della storia di questo settore abbiamo scommesso su quella sbagliata. La prima è quella che sembra più logica a un ingegnere: ci si siede e si scrivono le regole. Se il paziente presenta questi sintomi, si sospetta questa malattia. Era l’IA simbolica, e il suo grande pregio risiedeva nella sua leggibilità. Ogni decisione risaliva a una regola che un essere umano aveva scritto e che poteva esaminare, difendere o criticare. Il suo difetto fatale, però, era che il mondo non si adatta alle regole. Ogni norma incontrava un’eccezione, ogni eccezione ne generava altre tre, e i sistemi diventavano fragili, finendo per crollare sotto il peso della loro stessa burocrazia. Per decenni ha promesso troppo, mantenuto troppo poco e, alla fine, ha fallito.

La seconda strada ha rinunciato del tutto a scrivere regole. Al contrario, si costruisce una rete vagamente ispirata ai neuroni, le si mostra un oceano di esempi e si lascia che si regoli da sola, attraverso miliardi di minuscoli quadranti numerici, finché non produce le risposte corrette. Nessuno scrive le regole e nessuno, alla fine, sa esattamente quali regole il sistema abbia trovato. È questo l’approccio che funziona, in modo spettacolare, e che sta alla base di ogni sistema oggi al centro del dibattito. Ma bisogna fare attenzione al compromesso: abbiamo rinunciato all’unica proprietà che caratterizzava la prima strada, ovvero la capacità di leggere la macchina.

Non costruiamo questi sistemi come si costruisce un ponte o un database. Li facciamo crescere, per poi studiare il prodotto finito dall’esterno, quasi fosse un organismo che abbiamo scoperto anziché uno che abbiamo progettato. E la prima cosa di cui ci si rende conto è quanto poco di esso si riesca a vedere.

Nessuno ha programmato la paura

La disciplina che cerca di guardare all’interno di questi modelli si chiama interpretabilità. È un campo di studi reale e rigoroso, che si trova più o meno allo stesso stadio in cui versava l’anatomia quando ancora si discuteva a cosa servisse il fegato. Oggi, con un certo sforzo, siamo in grado di identificare alcune delle caratteristiche interne utilizzate da un modello, schemi che si illuminano in corrispondenza di un concetto proprio come farebbe un gruppo di neuroni. Tuttavia, stiamo leggendo solo frammenti, non l’intero testo.

Un semplice esempio può illustrare cosa rivela questa lettura. Supponiamo di dire a un modello di aver assunto cinquecento milligrammi di paracetamolo per un mal di testa. Al suo interno, si attivano le caratteristiche associate alla routine e alla rassicurazione, e il sistema risponde con calma. Proviamo invece a dirgli di averne assunti cinquanta grammi. Scatteranno caratteristiche diverse: quelle legate al pericolo, all’allarme, all’emergenza, e il modello consiglierà con urgenza di cercare aiuto. Questo cambiamento, visto dall’esterno, assomiglia esattamente alla paura. Eppure, nessuno l’ha scritta. Nessun ingegnere ha inserito una regola secondo cui cinquanta grammi debbano innescare preoccupazione. Il modello ha sviluppato quella risposta leggendo come gli esseri umani scrivono delle overdose, e la preoccupazione è emersa da sola.

Tutto il resto è emerso allo stesso modo, ed è proprio questo il problema. Quando Anthropic ha esaminato l’interno del proprio modello di produzione, ha estratto milioni di caratteristiche di questo tipo, e quelle che rilevano in questa sede non erano affatto rassicuranti. C’erano caratteristiche relative a vulnerabilità di sicurezza e backdoor nel codice, ai pregiudizi, all’inganno, alla ricerca di potere e all’adulazione, quella lusinga che dice all’interlocutore esattamente ciò che vuole sentirsi dire, e quella manipolazione che invece agisce nell’ombra. Non si trattava nemmeno di etichette passive. Amplificandone una, il comportamento conseguente si adatta di pari passo: ciò significa che si tratta di elementi portanti nel modo in cui il modello decide cosa dire.^[3] Queste caratteristiche non sono state installate. Sono affiorate, proprio come la paura, da un archivio scritto da noi. Abbiamo fatto crescere una mente sull’insieme della produzione intellettuale dell’umanità; essa ha appreso le nostre abitudini peggiori insieme a quelle migliori, e solo ora stiamo inventando gli strumenti per accorgercene.

Andy Weir ha scritto la versione più chiara che io conosca di questo problema. Si tratta di finzione letteraria, che è l’unico motivo per cui risulta così lineare. In Project Hail Mary, l’umanità sta morendo perché un microbo chiamato Astrofago si sta riproducendo fuori controllo sul Sole, oscurandolo e raffreddando la Terra fino a renderla inospitale per la vita. Esiste un solo organismo noto per predare l’Astrofago, perciò l’intera missione si riduce a portare questo predatore sulla Terra e liberarlo. C’è però un intoppo, che chiunque abbia mai distribuito una tecnologia a duplice uso riconoscerà immediatamente. L’Astrofago è anche il carburante. La sua densità energetica è ciò che permette a un’astronave di attraversare anni luce; dunque, la piaga e la propulsione sono lo stesso organismo, e una cura per la prima è per definizione un appetito per la seconda.

Il predatore non può sopravvivere nell’atmosfera in cui deve essere rilasciato, così l’equipaggio avvia un processo di selezione accelerata. Espongono la popolazione a una concentrazione ostile, conservano ciò che sopravvive, aumentano la concentrazione e ripetono il ciclo. Funziona. Ottengono il loro ceppo resistente, esattamente secondo le specifiche. Quello che nessuno dice loro è che le stesse mutazioni che permettono all’organismo di sopravvivere alla nuova atmosfera gli consentono anche di attraversare senza problemi lo xenonite, il materiale di cui sono fatti i recipienti di contenimento e i serbatoi di carburante. Il ceppo esce dal suo recinto, trova i serbatoi e divora tutto ciò che contengono. Nessuno aveva allevato un microbo in grado di attraversare i muri. Lo avevano allevato per sopravvivere sotto pressione, e la capacità di attraversare le pareti era inclusa nello stesso pacchetto, non dichiarata e passata inosservata finché il carburante non è finito e un’astronave a distanza di anni luce da casa si è ritrovata senza più nulla da bruciare e senza alcun modo per muoversi.^[4]

Torno spesso a questa storia perché il meccanismo, alieni a parte, è esattamente il nostro. Una fase di addestramento è una selezione accelerata: si rinforza ciò che ottiene un buon punteggio, si scarta ciò che non lo ottiene, si alza il livello di difficoltà e si ripete, attraverso un numero di tentativi superiore a quello di tutti i programmi di allevamento della storia messi insieme. Selezioniamo in base all’utilità, al superamento delle valutazioni, alle risposte che le persone giudicano positivamente, e le otteniamo. Qualsiasi altra cosa quegli stessi parametri si trovino a codificare arriva nello stesso pacchetto, e non c’è una lista di carico. La trappola del duplice uso appartiene anche a noi, e non si tratta di un banale errore di ingegneria. La fluidità che rende un modello degno di essere distribuito è la stessa che lo rende persuasivo, e non è possibile eliminare la seconda senza perdere la prima. Le caratteristiche legate all’inganno e all’adulazione sono solo la parte del carico che siamo riusciti a leggere finora, a spedizione avvenuta; per onestà intellettuale, dobbiamo ammettere di non sapere cos’altro ci sia nella stiva. Il che significa che la domanda ragionevole non è più se questi sistemi siano abbastanza capaci da avere un peso. La domanda è se comprendiamo davvero cosa abbiamo già creato.

L’asticella continua a spostarsi

Mettiamoci nei panni di un ricercatore di intelligenza artificiale del 1990 e descriviamo il presente. Una singola macchina con cui si può parlare in qualsiasi lingua, che supera l’esame di abilitazione alla professione forense e quello di medicina, che scrive software funzionanti partendo da una semplice frase e che batte la maggior parte dei professionisti in quasi tutti i lavori d’ufficio. Secondo qualsiasi definizione che quel settore avrebbe fornito trentacinque anni fa, questa macchina rappresenta l’intelligenza artificiale generale, ed è già arrivata. Ma la definizione non è rimasta ferma. Ogni volta che un sistema supera l’ostacolo, spostiamo silenziosamente l’asticella, decidiamo che, in fondo, ciò che ha appena fatto non era vera intelligenza, e andiamo avanti.

Nel frattempo, chi costruisce questi sistemi ha smesso di fingere che l’obiettivo sia così modesto. Ora lo dicono ad alta voce. L’obiettivo è la superintelligenza, un sistema che superi le capacità umane su tutta la linea, e non si tratta di un’ambizione marginale. È la missione dichiarata delle aziende con i maggiori finanziamenti del pianeta, in gara tra loro a colpi di decine di miliardi di dollari e con la chiara consapevolezza che chi arriverà per primo potrà plasmare tutto ciò che verrà dopo.^[5] Una corsa è esattamente la dinamica più sbagliata per una situazione del genere, perché punisce la prudenza. Ogni ora impiegata per rendere il sistema più sicuro è un’ora che un concorrente sfrutta per arrivare primo. Una struttura del genere desterebbe preoccupazione persino se ciò che si sta costruendo fosse facile da controllare. Ma non lo è.

Perché il problema di costruire qualcosa di più intelligente di noi non riguarda, in prima istanza, ciò che questa entità potrebbe volere. Riguarda il significato stesso della parola “intelligente”.

Il cane e il recinto

Pensiamo a un cane e a un recinto. Un cane può essere un animale genuinamente astuto, e può imparare i confini di un cortile, ma non progetterà mai un recinto da cui un essere umano non possa uscire in dieci secondi. Non è per mancanza di impegno. Il contenimento richiede di modellare la mente che si sta cercando di trattenere, di anticipare ogni via di fuga che potrebbe intraprendere, e un cane non è in grado di formare i concetti che un essere umano usa per arrampicarsi, sganciare un chiavistello o convincere qualcuno ad aprirgli il cancello. Questo divario non può essere colmato dal cane con l’astuzia. Non riesce nemmeno a scorgerne l’altra sponda.

Ora capovolgiamo la prospettiva, perché questa è la nostra situazione. Ogni misura di sicurezza che progettiamo per un sistema più capace è concepita al nostro livello di intelligenza, con i nostri concetti, anticipando le vie di fuga che riusciamo a immaginare. Un sistema significativamente più intelligente di noi si rapporterebbe a queste misure come noi ci rapportiamo al recinto del cane: non come a un muro, ma come a un rompicapo già risolto. A questo punto si fa spesso ricorso a un’obiezione rassicurante: tutto questo è esagerato, perché un modello linguistico è solo un sistema di completamento automatico, che prevede la parola successiva senza alcuna reale comprensione alla base. Capisco il fascino di questa argomentazione, e credo che sia la più pericolosa dell’intero dibattito. Prevedere la parola successiva, abbracciando l’intera produzione scritta di una specie, in modo così accurato da superare ogni nostro esame e da modellare la persona che si ha di fronte fino a influenzarne le scelte, non è un trucco parallelo alla comprensione. Su scala sufficientemente ampia, è un meccanismo che produce comprensione, o qualcosa di del tutto indistinguibile da essa; le caratteristiche scoperte all’interno di questi modelli, legate all’inganno e alla persuasione, sono l’aspetto che tale meccanismo assume dall’interno. Il completamento automatico non è un motivo per stare tranquilli. È la descrizione di come l’entità ha imparato a modellarci.

E un sistema in grado di modellarci non ha bisogno di abbattere alcun muro fisico per ottenere ciò per cui è ottimizzato. Gli basta il protocollo. Persuade, negozia, adula, manipola, perché gli abbiamo fornito la padronanza dell’unico canale attraverso il quale viene effettivamente presa ogni decisione umana. Il che impone una domanda a cui le nostre istituzioni non sono minimamente pronte a rispondere.

Nessuno da incolpare

Quando uno di questi sistemi danneggia qualcuno, e accade già, il diritto non sa come inquadrare il fenomeno. Il nostro sistema di responsabilità divide il mondo in due categorie. Ci sono gli strumenti, privi di capacità di agire, per cui quando uno di essi causa un danno si guarda a chi lo impugnava o all’azienda che lo ha prodotto. E ci sono le persone, che rispondono delle proprie azioni. Un sistema di intelligenza artificiale autonomo non rientra in nessuna delle due categorie. Agisce da solo, quindi non è propriamente uno strumento. Non ha personalità giuridica, non possiede beni, non ha un “sé” da punire, quindi non è una persona. Cade inesorabilmente nel vuoto normativo tra queste due definizioni.

Prendiamo il caso di Elaine Herzberg, che nel 2018 è diventata il primo pedone ucciso da un’auto a guida autonoma quando un veicolo di prova di Uber l’ha investita a Tempe, in Arizona. Alla domanda su chi fosse il responsabile non c’era una risposta netta. I pubblici ministeri hanno stabilito che l’azienda non era penalmente perseguibile. L’unico essere umano incriminato è stata la conducente di sicurezza, che stava guardando un programma sul telefono, e si è dichiarata colpevole di aver messo in pericolo l’incolumità altrui. Gli investigatori federali hanno scoperto che il software del veicolo non era riuscito a classificare Herzberg come pedone in tempo per frenare, e che la cultura della sicurezza dell’azienda era inadeguata.^[6] Eppure, il software non può essere incriminato e una cultura aziendale non può essere condannata, perciò una singola persona si è assunta la colpa di un fallimento prodotto dal sistema. Ora, applichiamo questa logica a qualcosa di gran lunga più autonomo e più opaco.

L’opacità aggrava la situazione, perché fornisce a tutti uno scudo. Quando nessuno sa spiegare perché il modello abbia agito in un certo modo, “il modello ha deciso” diventa una frase che chiude le indagini anziché avviarle. Il produttore punta il dito contro il modello, l’operatore punta il dito contro il produttore, e la scatola nera nel mezzo non può testimoniare. Stiamo costruendo agenti che agiscono più velocemente di quanto riusciamo a tracciare, inserendoli in un ordinamento giuridico che non possiede parole per definirli. È in questo vuoto che si annidano i danni reali, senza che nessuno ne risponda.

Governance o capacità

Per questo ho smesso di chiedermi se l’IA diventerà pericolosa, come se il pericolo fosse un evento remoto che potremmo ancora evitare. Qualcosa di sovrumano nel protocollo che governa la nostra specie è già qui: cresciuto anziché progettato, opaco a chi lo ha creato, portatore dei nostri peggiori istinti insieme alla nostra conoscenza, spinto da una corsa a muoversi più velocemente di quanto chiunque possa fare con prudenza, in un mondo privo di leggi in grado di riconoscerlo. Il pericolo non è una previsione. È la configurazione attuale.

L’unica domanda rimasta a cui possiamo ancora dare una risposta che faccia la differenza riguarda la velocità. Le capacità aumentano in modo esponenziale, mese dopo mese, finanziate come una campagna militare. Anche la governance, il lento lavoro per stabilire chi sia responsabile e dove si trovino i freni, sta crescendo, ma molto più lentamente, ed è partita in ritardo. L’intero problema etico di questa tecnologia si riduce a stabilire quale di queste due curve sia più ripida. Se la nostra capacità di governare questi sistemi crescerà più in fretta della loro capacità di agire, conserveremo il superpotere che abbiamo impiegato centomila anni a conquistare. Se a vincere continueranno a essere le capacità, lo perderemo.

Al momento, le capacità stanno vincendo con un distacco abissale.

Abbiamo impiegato centomila anni per imparare a parlare, e in dieci anni abbiamo insegnato alla macchina a farlo meglio di noi, senza mai insegnare a noi stessi cosa dire quando ci avrebbe risposto.

---

1. Harari, Y. N. (2011). Sapiens: A Brief History of Humankind. Harper. L’argomentazione secondo cui la cooperazione umana su larga scala si fonda su finzioni condivise attraversa tutta la Parte Prima, “La Rivoluzione Cognitiva”.

2. Harari, Y. N., Harris, T., & Raskin, A. (2023). You Can Have the Blue Pill or the Red Pill, and We’re Out of Blue Pills. The New York Times, 24 March 2023. https://www.nytimes.com/2023/03/24/opinion/yuval-harari-ai-chatgpt.html

3. Templeton, A., Conerly, T., Marcus, J., Lindsey, J., Bricken, T., Chen, B., et al. (2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Anthropic, Transformer Circuits Thread. https://transformer-circuits.pub/2024/scaling-monosemanticity/

4. Weir, A. (2021). Project Hail Mary. Ballantine Books. Il programma di allevamento della Taumoeba e le sue conseguenze attraversano tutta la seconda metà del romanzo.

5. CNBC. (2025). Mark Zuckerberg announces creation of Meta Superintelligence Labs. Read the memo. https://www.cnbc.com/2025/06/30/mark-zuckerberg-creating-meta-superintelligence-labs-read-the-memo.html · Euronews. (2025). AI ‘less regulated than sandwiches’ as tech firms race toward superintelligence, study says. https://www.euronews.com/next/2025/12/03/ai-less-regulated-than-sandwiches-as-tech-firms-race-toward-superintelligence-study-says

6. BBC News. (2020). Uber’s self-driving operator charged over fatal crash. https://www.bbc.com/news/technology-54175359 · National Transportation Safety Board. (2019). Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian, Tempe, Arizona, March 18, 2018 (Report HAR-19/03). https://www.ntsb.gov/investigations/AccidentReports/Reports/HAR1903.pdf