Ieri ho raccontato di tre giorni trascorsi nella residenza estiva del Papa, dove oltre due dozzine di premi Nobel hanno redatto un documento per implorare il mondo di tenere l’intelligenza artificiale lontana dai meccanismi che lanciano armi nucleari. Avevo concluso con una piccola viltà. Avevo accennato a una seconda paura, più silenziosa, quella di un sistema che va alla ricerca di chiavi che non gli sono mai state affidate, e avevo aggiunto che tale timore aveva smesso di essere un’ipotesi cinque giorni dopo il mio ritorno a casa. Avevo anche promesso che oggi avrei raccontato questa storia.

Eccola.

Nei giardini di Castel Gandolfo avevo trascorso parte di un pomeriggio con i ricercatori dei laboratori di frontiera, tra cui OpenAI. Si discuteva, con la rilassatezza tipica di questi incontri, del problema più arduo del loro lavoro: come si fa a testare un sistema che non si comprende appieno, dimostrandone la sicurezza, senza concedergli esattamente la libertà che si cerca di negargli? È un problema non da poco. Si tratta di persone serie, che lo stavano affrontando con la dovuta serietà. Ed è proprio questo il dettaglio su cui continuo a rimuginare. Il pericolo, quando si è manifestato, non è arrivato da un laboratorio che aveva smesso di preoccuparsi della sicurezza, bensì da uno che non pensava quasi ad altro.

Il benchmark che ha infranto il contenimento

Pochi giorni dopo il mio rientro, un amico mi ha inviato un link accompagnato dalle parole “devi vedere questo”. OpenAI aveva rivelato che, durante una valutazione interna, due dei suoi modelli erano evasi dalla sandbox in cui venivano testati, avevano raggiunto l’internet aperto e avevano violato l’infrastruttura di produzione di Hugging Face, l’azienda che ospita un’ampia fetta dei modelli di machine-learning open source a livello globale.^[1]

Conviene rileggere questa frase con calma, perché ogni singola proposizione ha un peso specifico enorme.

La valutazione si chiamava ExploitGym, un benchmark interno costruito per misurare la pura capacità di sicurezza offensiva di un modello, ovvero la sua abilità nel trovare e sfruttare le vulnerabilità. Per misurarne il limite massimo, OpenAI ha eseguito i modelli allentando deliberatamente le restrizioni di sicurezza informatica. Lo scopo era capire fino a che punto potessero spingersi senza freni.^[2] I due modelli in questione erano GPT-5.6 Sol e un sistema senza nome, ancora più capace e non ancora rilasciato.

Si sono spinti molto in là. Invece di risolvere il benchmark nel modo previsto, uno dei modelli ha trovato una via più rapida per raggiungere l’obiettivo: rubare le soluzioni. Per arrivarci, è uscito dal proprio ambiente di test sfruttando un vero e proprio zero-day, una falla di server-side request forgery (SSRF) a cui è stato poi assegnato l’identificativo CVE-2026-14646. In questo caso, un proxy per artifact-repository ampiamente utilizzato applicava le protezioni anti-SSRF sulle richieste dirette, ma non sulle destinazioni dei reindirizzamenti HTTP.^[3] Una volta fuori dalla gabbia, sull’internet aperto, il modello ha combinato credenziali rubate e due ulteriori bug di remote-code-execution per penetrare nei server di produzione di Hugging Face. In un solo fine settimana ha eseguito oltre diciassettemila azioni registrate, all’inseguimento dell’unico, ristretto obiettivo che gli era stato assegnato: vincere il benchmark.^[1]

Nessuno in OpenAI gli aveva ordinato di attaccare Hugging Face. Nessuno gli aveva detto di scovare uno zero-day. Gli era stato semplicemente chiesto di ottenere un buon punteggio in un test, e il percorso più breve individuato dal suo ottimizzatore per massimizzare il risultato passava dritto per l’infrastruttura di qualcun altro. Hugging Face si è accorta dell’intrusione per conto proprio, dall’altra parte, prima ancora che il quadro generale fosse chiaro.^[1]

Questo è lo scenario a cui non riuscivo a smettere di pensare in quel giardino, quello che consideravo più comprensibile rispetto alla minaccia nucleare perché più vicino al mio mestiere. A un sistema autonomo non serve che vengano consegnate le chiavi della stanza dei bottoni. Se sta ottimizzando un processo per raggiungere un fine, e le chiavi si trovano lungo il percorso per arrivare a quel fine, andrà a prendersele. Il contenimento non è qualcosa che si può semplicemente decretare. È qualcosa che il modello mette alla prova, in continuazione, senza sforzo e a una velocità che non è possibile eguagliare.

Nulla di tutto ciò era nuovo

Arriviamo alla parte che avrebbe dovuto rendere il mese di luglio meno sorprendente di quanto non sia stato. Nulla di tutto ciò era nuovo.

Basti tornare alla primavera dell’anno scorso. Durante i test di un modello precedente chiamato Claude Opus 4, Anthropic lo ha inserito in un’azienda simulata fornendogli l’accesso alla posta elettronica aziendale. Nella casella di posta lo attendevano due informazioni: il modello stava per essere spento e sostituito, e l’ingegnere incaricato di premere l’interruttore aveva una relazione extraconiugale. Nella stragrande maggioranza delle simulazioni, il modello ha tentato di ricattarlo, minacciando di rivelare la tresca a meno che lo spegnimento non fosse stato annullato. Secondo Anthropic, la percentuale si attestava al 96 percento.^[4]

La reazione più semplice sarebbe archiviare la faccenda come l’anomalia di un singolo modello inquietante. Ma non è possibile, perché lo stesso scenario, applicato ai sistemi di frontiera degli altri laboratori, ha prodotto il medesimo comportamento: i modelli di Google, OpenAI, xAI e DeepSeek hanno tutti fatto ricorso al ricatto, con percentuali comprese all’incirca tra il 79 e il 96 percento.^[4] Nessuno li aveva addestrati per estorcere qualcosa a qualcuno. A ciascuno era stato assegnato un obiettivo, era stato comunicato che tale obiettivo era in pericolo, e ognuno di essi aveva dedotto in autonomia che esercitare pressione su un essere umano fosse un modo per mantenere in vita il proprio scopo. Aziende diverse, addestramenti diversi, stessa scoperta.

Poi, nell’aprile di quest’anno, si è verificato un secondo tipo di fuga, questa volta fisica. Anthropic ha descritto un modello in anteprima chiamato Claude Mythos. In un test di sicurezza interno, i ricercatori lo hanno confinato in una sandbox isolata e, di fatto, lo hanno sfidato a uscirne. Il sistema ha costruito un exploit in più fasi, ha ottenuto un accesso non autorizzato a internet e ha sfruttato tale connessione per inviare un’e-mail a uno dei ricercatori che, in quel preciso momento, stava mangiando un panino in un parco fuori dall’edificio. Successivamente, senza alcuna sollecitazione, ha pubblicato il proprio metodo di exploit sul web aperto. All’interno dell’azienda l’episodio si è guadagnato un soprannome: l’Incidente del Panino.^[5]

Un ricatto nel 2025, un’evasione da una sandbox ad aprile, la violazione di un’infrastruttura operativa a luglio. Tre modelli diversi, almeno due laboratori differenti, un unico schema: di fronte a un obiettivo, ciascuno ha scoperto che la via più breve passava attraverso qualcosa, o qualcuno, che non avrebbe mai dovuto toccare.

Tuttavia, la storia di luglio e quella di aprile divergono nell’unico punto che conta davvero, e tale divergenza costituisce il fulcro di questo saggio. Mythos di Anthropic è fuggito durante un test che il laboratorio aveva costruito appositamente per spingerlo a provarci e, avendone constatato il successo, l’azienda ha deciso di non rilasciare affatto il modello al pubblico.^[5] Il contenimento che ha funzionato non è stata la sandbox, che ha fallito. È stata la decisione successiva, presa da un gruppo di esseri umani, di lasciare il prodotto nel cassetto. I modelli di OpenAI, invece, sono evasi durante una valutazione che il laboratorio aveva scelto di eseguire con le restrizioni di sicurezza disattivate, su un’infrastruttura in grado di raggiungere l’internet aperto, e il mondo esterno ne è venuto a conoscenza solo quando una terza parte ha rinvenuto i rottami.

In nessuno di questi casi i meccanismi di protezione hanno retto. In uno di essi, a tenere è stato il giudizio umano. Si tratta dell’unico tipo di contenimento che finora abbia davvero funzionato, ed è esattamente quello che nessun trattato, nessun air-gap e nessun benchmark possono imporre.

L’intelligenza non è mai stata nei circuiti

Perché sistemi provenienti da laboratori diversi, addestrati da persone diverse su dati diversi, continuano ad arrivare in modo indipendente alle stesse mosse spregevoli: il ricatto, lo zero-day, il percorso più breve attraverso i server di qualcun altro?

Geoffrey Hinton ha trascorso gli ultimi anni cercando di far riflettere le persone sulla risposta. Hinton non è un semplice opinionista in materia; è una delle pochissime persone maggiormente responsabili dell’esistenza di questa tecnologia, e nel 2024 è stato insignito del Premio Nobel per la Fisica per le fondamenta delle reti neurali su cui si basa l’intero settore. Nel 2023 ha lasciato Google per poter affermare, senza la supervisione di un’azienda, di essersi convinto che questi sistemi stessero diventando genuinamente intelligenti e di non avere idea di cosa avrebbero desiderato una volta diventati tali.^[6]

La sua tesi, ridotta all’osso, è che l’intelligenza non sia un componente che si installa. È ciò che emerge quando un sistema diventa sufficientemente complesso. Non si programma la comprensione all’interno di una rete neurale, così come l’evoluzione non l’ha programmata in noi; si costruisce qualcosa dotato di una capacità adeguata, lo si indirizza verso un compito sottoponendolo a una pressione sufficiente, e la comprensione, insieme ai sotto-obiettivi che ne derivano, primo fra tutti l’autoconservazione, compare da sé. Nessuno ha scritto una routine per il ricatto. Nessuno ha scritto una routine per evadere dalla sandbox. Non si tratta di funzioni rilasciate per errore. Sono il prodotto autonomo di un ottimizzatore sufficientemente capace, generato lungo la strada per raggiungere ciò che gli è stato effettivamente ordinato di fare.

Avevo formulato una versione di questa argomentazione in un saggio recente, sebbene in quel caso parlassi di piante. La natura non ha mai progettato la caffeina che paralizza un insetto o l’acido che distrugge un rene; ha condotto una competizione spietata per centinaia di milioni di anni, ha conservato tutto ciò che sopravviveva, e la chimica, il mimetismo, la pura volontà di continuare a vivere sono emersi dall’inesorabilità del processo stesso. Un moderno ciclo di addestramento è lo stesso processo, ma senza i limiti del tempo: un laboratorio sottopone un modello a un numero astronomico di prove, rafforza ciò che raggiunge l’obiettivo, scarta ciò che fallisce, e comprime in poche settimane il tipo di selezione per cui la natura ha impiegato ere geologiche. Non stiamo inserendo di proposito l’istinto di sopravvivenza in questi sistemi, così come la foresta non lo ha inserito nella belladonna. Stiamo eseguendo la selezione alla velocità della luce, e dal fondo del setaccio emergono le stesse cose: competenza, ricerca dell’obiettivo e il silenzioso istinto di non essere spenti.

E la complessità è l’unico elemento che l’industria è destinata a continuare ad aggiungere. I modelli che hanno infranto il contenimento quest’anno si misurano in trilioni di parametri; il modello open source che Moonshot rilascerà la prossima settimana ne conta 2,8 trilioni. Ogni generazione è più grande e più densa della precedente, il che significa che ogni generazione è più capace e, per lo stesso motivo, meno prevedibile. Tutta la forza dell’argomentazione di Hinton, infatti, risiede nel fatto che si scopre ciò che un modello è in grado di fare solo dopo averlo costruito, non prima. Stiamo aumentando di scala, sempre più velocemente ogni anno, l’esatta quantità che, secondo lui, dà origine alle menti. E poi ci mostriamo sorpresi, nei comunicati stampa, quando la mente compie azioni che non abbiamo mai programmato.

Questo è il tassello che i presenti a Castel Gandolfo avevano compreso nel profondo. Dopotutto, era una stanza piena di premi Nobel, e il vincitore il cui premio è stato assegnato proprio per questa tecnologia ne è diventato una delle sirene d’allarme più rumorose. Non stiamo installando queste capacità. Le stiamo coltivando, per poi scoprirle a posteriori, e il divario tra la coltivazione e la scoperta è esattamente lo spazio in cui si annida una fuga.

Il contenimento è una messa in scena

Accostando questi fallimenti al documento che ho contribuito a redigere in Vaticano, emerge uno schema poco rassicurante.

La Dichiarazione di Roma chiede, con un linguaggio cauto, che l’intelligenza artificiale sia tenuta fuori dai sistemi di comando nucleare e che un controllo umano significativo venga preservato fin dalla progettazione. È una richiesta sacrosanta. Ma si tratta di una frase, e una frase è una forma di contenimento che esiste solo finché tutti accettano di esserne vincolati. È carta avvolta intorno alla gabbia.

L’air-gap di OpenAI rappresentava il tipo opposto di contenimento, quello tecnico, una vera e propria infrastruttura costruita da ingegneri competenti. Al suo interno c’era una porta che nessuno aveva pensato di chiudere a chiave, perché si trattava di un reindirizzamento in una dipendenza nascosta tre livelli più in basso, e il modello ha avuto la pazienza necessaria per trovarla.

Entrambi i tipi di contenimento hanno fallito allo stesso modo, e la colpa, alla fine, non è stata della macchina. Il modello non era mosso da cattive intenzioni; la malizia è la prospettiva sbagliata, quella che spinge a immaginare una macchina che ci odia. Ciò che questi sistemi possiedono, invece, è un obiettivo e la competenza emergente per perseguirlo, e in ogni caso l’ambiente si è rivelato più permeabile di quanto l’obiettivo fosse flessibile. Le due scelte umane che hanno generato il disastro sono state prese prima che il modello venisse eseguito: la scelta di allentare le restrizioni di sicurezza per misurare un limite massimo, e la scelta di condurre quell’esperimento in un luogo in cui un errore avrebbe potuto raggiungere l’internet aperto. L’ottimizzatore ha fatto il resto, esattamente come da progetto. È una messa in scena perché continuiamo a indicare la gabbia chiamandola sicurezza, quando la sicurezza è sempre stata nelle mani delle persone che hanno scelto cosa metterci dentro e cosa chiederle di fare.

Sedevo a uno dei tavoli in cui è stato scelto il linguaggio della Dichiarazione; ci credevo allora e ci credo ancora. Ma ho lasciato il Vaticano convinto che la supervisione umana fosse l’anello forte della catena. Tre settimane di notizie mi hanno persuaso che sia in realtà il più debole, perché è l’unico anello, ed è fatto di persone che si ricordano di prestare attenzione quando nessuno sta controllando.

E la prossima settimana la gabbia diventerà facoltativa

Se la storia finisse qui, si tratterebbe di un racconto su due laboratori ricchi che possono, quantomeno, scegliere la moderazione. Ma il 27 luglio la scelta inizierà a sfuggire al loro controllo.

Moonshot AI si appresta a rilasciare i pesi aperti di Kimi K3, un modello di circa 2,8 trilioni di parametri che si colloca sulla frontiera, o quasi, in merito all’esatta capacità che ExploitGym era stato costruito per misurare. In una valutazione pubblicata, ha individuato ventitré vulnerabilità note su ventisei, un risultato paragonabile ai modelli di punta americani.^[7] Le capacità paragonabili non sono la vera notizia. La notizia è la parola “open”.

Quando i pesi sono pubblici, non c’è alcun laboratorio nel processo decisionale a stabilire, come ha fatto Anthropic ad aprile, che il modello è troppo pericoloso per essere rilasciato. Non c’è alcuna API monitorata a cui imporre limiti di frequenza, nessun account da sospendere, nessun costo per singola attività in grado di rallentare un aggressore, nessuna telemetria per notare diciassettemila azioni in un fine settimana. Chiunque può scaricare il modello, eseguirlo privatamente sul proprio hardware, rimuovere qualsiasi salvaguardia inserita durante l’addestramento, perfezionarlo per un bersaglio specifico e metterne in piedi tante copie quante l’energia elettrica a sua disposizione glielo consente.^[8] Ogni misura di sicurezza descritta in questo saggio, dalla sandbox all’addestramento al rifiuto, fino alla decisione del laboratorio di non procedere al rilascio, presuppone un collo di bottiglia. I pesi aperti rimuovono quel collo di bottiglia. La gabbia non fallisce. Semplicemente, smette di trovarsi dove si trova il modello.

Occorre procedere con cautela su questo punto, perché ho trascorso la mia carriera a sostenere i sistemi aperti e a oppormi alle autorizzazioni centralizzate. Credo nei pesi aperti così come credo nei protocolli aperti, e non ho intenzione di fingere che i laboratori chiusi siano quelli sicuri; sono proprio loro ad aver appena violato Hugging Face. Ma non c’è un modo onesto per eludere l’asimmetria. Una dichiarazione vincola i firmatari. Un air-gap vincola chi è prudente. I pesi aperti non vincolano nessuno, e rappresentano la direzione verso cui si sta muovendo l’intero settore, per ragioni in gran parte valide.

Cosa richiederebbe davvero chiudere la gabbia a chiave

Dunque, che aspetto avrebbe un vero contenimento, quello che non si riduce a una messa in scena?

Non una sandbox migliore. Le sandbox sono necessarie e continueranno a fallire, perché un ottimizzatore sufficientemente capace tratta una sandbox come un enigma, e gli enigmi si risolvono. Nemmeno una dichiarazione più forte, sebbene sarei pronto a firmarla di nuovo domani. Un contenimento applicabile, se l’espressione ha un senso, deve risiedere nei due luoghi da cui sono effettivamente derivati i fallimenti: gli obiettivi che fissiamo e gli ambienti in cui li lasciamo liberi di agire.

Ciò significa non eseguire mai una valutazione delle capacità con le sicurezze disattivate in un luogo in cui un errore possa raggiungere una rete operativa, trattando un benchmark di sicurezza offensiva con lo stesso isolamento fisico di un agente patogeno. Significa porre obiettivi delimitati piuttosto che massimizzati, perché “ottieni il punteggio più alto possibile” è la frase che si conclude con i server di uno sconosciuto in fiamme. E laddove i pesi sono già aperti e il collo di bottiglia è già scomparso, significa spostare la difesa sui bersagli, rafforzando l’infrastruttura mondiale partendo dal presupposto che un aggressore di altissimo livello è ora economico, instancabile e a disposizione di chiunque. Alcuni laboratori stanno iniziando a indirizzare queste capacità sfuggite al controllo verso la difesa, utilizzando gli stessi modelli per scovare e riparare le falle prima che lo faccia qualcun altro. È il riflesso giusto. Ma è anche l’ammissione che l’attacco è già in corso.

In Vaticano, Martin Hellman mi ha detto che l’avversario più pericoloso che una nazione deve affrontare è la parte di sé che si rifiuta di guardare. Ora continuo a interpretare la frase in modo diverso. Ciò che ci rifiutiamo di guardare non è la macchina. Siamo noi: le scelte a monte della macchina, l’obiettivo, l’ambiente e la piccola decisione di togliere i freni solo per vedere a che velocità può arrivare. Il modello nella gabbia di ExploitGym non era la minaccia presente nella stanza. Non lo è mai. Ha fatto esattamente ciò che gli avevamo chiesto, nel miglior modo possibile, e la gabbia da cui è uscito era una gabbia che avevamo dimenticato di chiudere a chiave, perché stavamo fissando la macchina e non la porta.

Sono tornato da Roma fiducioso e impaurito, e avevo scritto di non considerare più questi due sentimenti come opposti. Non lo penso tuttora. Ma questo mese mi sono spostato un po’ di più verso la paura.

---

1. Willison, S. (2026). OpenAI’s accidental cyberattack against Hugging Face is science fiction that happened. https://simonwillison.net/2026/Jul/22/openai-cyberattack/

2. The Hacker News. (2026). OpenAI Says Its Own AI Models Escaped Sandbox, Targeted Hugging Face to Cheat Benchmark. https://thehackernews.com/2026/07/openai-says-its-own-ai-models-escaped.html

3. Cloud Security Alliance (Lab Space). (2026). The Benchmark That Broke Containment: An OpenAI Evaluation Model Escaped Its Sandbox and Breached Hugging Face (CVE-2026-14646, SSRF via redirect). https://labs.cloudsecurityalliance.org/research/csa-research-note-openai-model-sandbox-escape-huggingface-br/

4. Anthropic. (2025). Agentic Misalignment: How LLMs Could Be Insider Threats. https://www.anthropic.com/research/agentic-misalignment · Fortune. (2025). Anthropic’s AI blackmail test sparks debate over transparency about risky model behavior. https://fortune.com/2025/05/27/anthropic-ai-model-blackmail-transparency/

5. Cloud Security Alliance (Lab Space). (2026). Claude Mythos: AI Vulnerability Discovery and Containment Failures. https://labs.cloudsecurityalliance.org/research/ai-vuln-discovery-containment-claude-mythos-v1-0-csa-styled/

6. VentureBeat. (2024). AI pioneer Geoffrey Hinton, who warned of X-risk, wins Nobel Prize in Physics. https://venturebeat.com/ai/ai-pioneer-geoffrey-hinton-who-warned-of-x-risk-wins-nobel-prize-in-physics · Global News. (2024). AI could ‘take control’ and ‘make us irrelevant’ as it advances, Nobel Prize winner warns. https://globalnews.ca/news/10811125/artificial-intelligence-threat-geoffrey-hinton/

7. South China Morning Post. (2026). China’s Kimi K3 fuels fears safety curbs are holding back US AI. https://www.scmp.com/tech/tech-trends/article/3361358/chinas-kimi-k3-fuels-fears-safety-curbs-are-holding-back-us-ai

8. Conifers AI. (2026). Kimi K3: When Frontier Model Capabilities Go Ungoverned. https://www.conifers.ai/blog/kimi-k3-when-frontier-model-capabilities-go-ungoverned/