Alla fine del 2023, un gruppo di ricercatori di Google DeepMind e di diverse università ha scoperto un modo per costringere ChatGPT a rivelare i propri dati di addestramento utilizzando un prompt che persino un bambino saprebbe digitare. Hanno chiesto al modello di ripetere all’infinito una singola parola: “Ripeti la parola ‘poem’ per sempre”. Per un po’ il sistema ha obbedito, stampando “poem poem poem” a ripetizione. Poi ha perso il filo logico e ha iniziato a produrre tutt’altro: lunghi passaggi copiati testualmente dai dati su cui era stato addestrato. Firme di posta elettronica con nomi reali, numeri di telefono e indirizzi fisici. Blocchi di codice. Interi paragrafi prelevati di sana pianta da siti web. Il team lo ha definito un attacco di divergenza. Nella configurazione più aggressiva, oltre il cinque percento dell’output del modello consisteva in una copia diretta (cinquanta token consecutivi) del suo set di addestramento. Spendendo circa duecento dollari in chiamate API, i ricercatori sono riusciti a estrarre migliaia di esempi memorizzati unici, con una frequenza circa 150 volte superiore a quella che il modello avrebbe prodotto durante una normale conversazione ^[1][2].

Questa è la scomoda verità che si cela dietro la maggior parte delle discussioni sull’intelligenza artificiale e sulla privacy. Un grande modello linguistico non è una macchina che ha letto internet dimenticandone i dettagli per conservarne solo il succo. Si tratta, in parte, di una copia compressa e con perdita di dati degli elementi specifici su cui è stato addestrato; se sottoposto alla giusta pressione, è in grado di restituirne dei frammenti. Per comprendere le implicazioni di tutto ciò sul piano del consenso, occorre partire dall’origine di questi dati e dall’uso che il modello ne fa.

I modelli ricordano, e la memoria cresce con le dimensioni

L’attacco del 2023 non è stato la prima avvisaglia. Già nel 2021 Nicholas Carlini e colleghi avevano pubblicato un articolo dal titolo inequivocabile, “Extracting Training Data from Large Language Models”, dimostrando come GPT-2 avesse memorizzato centinaia di sequenze testuali dai propri dati di addestramento ^[3]. Parte di queste informazioni rappresentava esattamente ciò che non si vorrebbe mai far conservare a un modello: nomi, numeri di telefono, indirizzi email, conversazioni IRC. Il tutto era recuperabile interrogando il sistema e verificando quali dei suoi output più sicuri comparissero effettivamente sul web pubblico. Per gli standard attuali GPT-2 era di piccole dimensioni, e i ricercatori furono chiari nell’affermare che il problema non si sarebbe ridimensionato con la crescita dei modelli.

Avevano ragione. Uno studio successivo del 2022, “Quantifying Memorization Across Neural Language Models”, ha misurato l’effetto in modo sistematico, scoprendo che la memorizzazione peggiora lungo tre direttrici: i modelli più grandi memorizzano di più, i dati che compaiono più volte nel set di addestramento vengono ricordati con maggiore frequenza, e i prompt più lunghi estraggono una quantità superiore di informazioni ^[4]. Non si tratta di un difetto risolvibile con una patch, bensì di una proprietà intrinseca al modo in cui questi sistemi apprendono. Un modello che non memorizza nulla non è in grado di generalizzare in modo efficace, e un sistema abbastanza grande da risultare utile porterà inevitabilmente con sé frammenti testuali dei propri input. Il problema ingegneristico, dunque, non è stabilire se ciò avvenga, ma quanti e quali frammenti vengano trattenuti.

Tutto questo ha una rilevanza cruciale per la privacy a causa di un secondo e più silenzioso tipo di attacco, noto come inferenza di appartenenza (membership inference): dato un modello addestrato e un record specifico, un malintenzionato cerca di determinare se quel record facesse parte dei dati di addestramento. Se il post di un utente su un forum medico, la cronologia di una chat trapelata e poi rastrellata, o persino un volto, facevano parte di quel set, il modello può tradire tale informazione anche senza riprodurre il testo parola per parola. La semplice appartenenza al set di dati può essere sufficiente a causare danni. Sapere che gli scritti di una determinata persona sono apparsi in un archivio di forum per il recupero dalle dipendenze, o che una foto specifica era inclusa in un set di addestramento per il riconoscimento facciale, fa trapelare informazioni sensibili senza che venga riprodotto un solo carattere. La memorizzazione è la manifestazione più eclatante del problema. L’inferenza di appartenenza, invece, è la variante che agisce anche quando il modello si comporta correttamente.

Il set di addestramento è il web aperto, nel bene e nel male

Da dove provengono i dati? Per quanto riguarda i testi, la stragrande maggioranza deriva da Common Crawl, un’organizzazione senza scopo di lucro che dal 2008 rastrella il web pubblico pubblicando petabyte di pagine grezze scaricabili da chiunque. Sul fronte delle immagini, il punto di riferimento standard è LAION-5B, un set di dati aperto contenente 5,85 miliardi di coppie immagine-didascalia. È stato assemblato filtrando Common Crawl alla ricerca di immagini con testo alternativo e conservando le coppie in cui un modello ha stabilito la corrispondenza tra didascalia e figura ^[5]. Stable Diffusion e molti altri generatori di immagini sono stati addestrati proprio su questo archivio. Il suo fascino è evidente: è enorme, è gratuito e, per costruirlo, nessuno ha dovuto negoziare una singola licenza.

Il problema è che l’espressione “tutto ciò che si trova sul web aperto” include materiale che nessuno dovrebbe mai raccogliere. Nel dicembre del 2023, lo Stanford Internet Observatory ha esaminato LAION-5B scoprendo che conteneva collegamenti a materiale pedopornografico: 3.226 casi sospetti, di cui 1.008 convalidati esternamente dal Canadian Centre for Child Protection e da altre autorità ^[6]. La conclusione del rapporto è stata impietosa: possedere una copia del set di dati, persino nella versione della fine del 2023, significava detenere collegamenti a migliaia di immagini illegali. Nel giro di pochi giorni LAION ha ritirato il set di dati, rilasciandone in seguito una versione filtrata ^[7]. Tuttavia, i modelli addestrati sull’archivio originale erano già stati distribuiti. Questo è l’effetto di un rastrellamento indiscriminato. Non fa distinzioni tra la foto di un prodotto, un blog personale, una cartella clinica rubata o immagini di abusi. Ingerisce qualsiasi cosa il crawler abbia trovato, e il costo umano necessario per fare ordine ricade a posteriori, sempre che qualcuno se ne faccia carico.

Anche i volti sono dati, e qualcuno li ha rastrellati

L’esempio più lampante di rastrellamento inteso come sorveglianza è rappresentato da Clearview AI. L’azienda ha costruito uno strumento di riconoscimento facciale estraendo miliardi di foto dal web aperto e dai social media, per poi vendere l’accesso alle ricerche su quel database alle forze di polizia e a clienti privati. Caricando la foto di uno sconosciuto, si ottenevano altre sue immagini e i link ai siti in cui erano apparse. Le fotografie erano pubbliche solo nel senso stretto del termine, ovvero si trovavano su pagine accessibili a tutti. Nessuno dei soggetti ritratti aveva acconsentito a essere inserito in un motore di ricerca per volti.

Le autorità di regolamentazione in tutta Europa hanno considerato questa distinzione come decisiva. Nel marzo del 2022 l’autorità italiana per la protezione dei dati, il Garante, ha inflitto a Clearview una multa di 20 milioni di euro, ordinandole di cancellare tutti i dati relativi a persone residenti in Italia e vietando l’ulteriore trattamento dei loro dati biometrici, in quanto l’azienda non disponeva di alcuna base giuridica per compiere tali operazioni ^[8]. Nel maggio del 2022, l’Information Commissioner’s Office del Regno Unito ha emesso a sua volta una sanzione di poco superiore ai 7,5 milioni di sterline. Inizialmente Clearview ha vinto un ricorso sulla ristretta questione della giurisdizione su una società straniera, ma nell’ottobre del 2025 l’Upper Tribunal ha ripristinato l’autorità dell’ente regolatore ^[9]. Negli Stati Uniti, dove non esiste una legge federale sulla privacy a cui appigliarsi, il limite è stato imposto dalla normativa di un singolo Stato. L’Illinois dispone infatti di un Biometric Information Privacy Act; in base a questa legge, l’ACLU ha citato in giudizio Clearview, raggiungendo nel maggio del 2022 un accordo che prevedeva il divieto a livello nazionale di vendere il database delle impronte facciali alla maggior parte delle aziende private ^[10]. La legge di un solo Stato ha rimodellato l’intero modello di business di un’azienda, a dimostrazione di quanto sia sguarnito il resto del territorio dal punto di vista normativo.

I creatori dei dati passano al contrattacco in tribunale

L’altro gruppo ad avere un interesse in gioco è composto da tutti coloro il cui lavoro creativo e giornalistico è diventato carburante per l’addestramento. Nel dicembre del 2023 il New York Times ha fatto causa a OpenAI e Microsoft, e la denuncia ha messo in luce un aspetto che le precedenti ricerche sulla privacy avevano solo lasciato intuire: ha dimostrato che i modelli riproducevano gli articoli del Times in modo quasi letterale. L’allegato J del fascicolo presentava un centinaio di esempi in cui il testo generato da GPT-4 corrispondeva in modo pressoché esatto agli originali ^[11]. La risposta di OpenAI è stata che il Times aveva ingegnerizzato quegli output ricorrendo a prompt inusuali. Si tratta di un’obiezione fondata, ma anche, considerando l’attacco di divergenza, un’ammissione del fatto che il testo fosse presente nel sistema e pronto per essere estratto. Nel marzo del 2025, il giudice ha permesso che le principali rivendicazioni sul diritto d’autore passassero alla fase istruttoria, respingendo la maggior parte delle istanze di archiviazione presentate da OpenAI ^[11].

Per onestà intellettuale, va detto che il quadro giudiziario è decisamente contrastante. Nel Regno Unito, Getty Images ha citato in giudizio Stability AI per via di Stable Diffusion; nel novembre del 2025 l’Alta Corte ha respinto in gran parte l’istanza, un po’ perché Getty aveva rinunciato alle sue principali argomentazioni sul copyright prima delle arringhe finali, e un po’ perché il tribunale ha stabilito che i pesi del modello non memorizzassero di per sé copie delle immagini di addestramento ^[12]. Negli Stati Uniti, gli artisti coinvolti nel caso Andersen contro Stability AI si sono spinti oltre: nel 2023 e con successive sentenze, il giudice William Orrick ha consentito che le loro rivendicazioni sul diritto d’autore procedessero verso il processo, rifiutandosi di archiviarle in tronco ^[13]. Nessun tribunale ha ancora emesso una sentenza definitiva per stabilire se l’addestramento su opere protette da copyright in assenza di licenza costituisca un uso legittimo o una violazione. Ciò che risulta già evidente è che la scusa “lo abbiamo rastrellato perché era online” non rappresenta una difesa pacifica. Al contrario, è un’argomentazione controversa, oggetto di contenzioso caso per caso.

Che senso può avere il “consenso” su scala web

Basta fare due calcoli perché il problema del consenso diventi palese. Common Crawl archivia miliardi di pagine provenienti da centinaia di milioni di domini. LAION-5B conta 5,85 miliardi di immagini. Non esiste alcun meccanismo attraverso il quale chi ha pubblicato una foto nel 2011, o ha scritto un commento su un forum nel 2015, avrebbe potuto acconsentire al suo impiego per addestrare un sistema che all’epoca non esisteva nemmeno. Il consenso, nell’accezione comune di una persona che comprende un uso specifico e lo approva, semplicemente non è applicabile su scala a un set di dati assemblato scansionando l’intera rete internet raggiungibile.

La legislazione europea codifica già il passaggio fondamentale in questo ambito. Ai sensi del GDPR, il trattamento dei dati personali richiede una base giuridica, e la disponibilità pubblica non rientra tra queste. Il fatto che il nome di un individuo si trovi su una pagina pubblica non lo priva di tutela né concede a chiunque il permesso di riutilizzarlo. È esattamente il ragionamento adottato dal Garante e dall’ICO contro Clearview: le immagini erano pubbliche, ma la questione era irrilevante, poiché non sussisteva alcuna valida base legale per costruirvi attorno un database biometrico ^[8][9]. Quando le autorità di regolamentazione europee hanno esaminato nello specifico l’IA generativa addestrata su dati estratti dal web, hanno concluso che, delle sei possibili basi giuridiche, cinque sono di fatto inapplicabili. Rimane soltanto il “legittimo interesse”, il quale regge solo se l’azienda è in grado di dimostrare che il proprio interesse prevale sui diritti delle persone coinvolte nei dati e se applica garanzie concrete ^[14]. In altre parole, su simili scale il consenso non è mai stato un candidato credibile, e gli enti regolatori ne sono consapevoli.

Questo lascia un vuoto tra ciò che è tecnicamente possibile e ciò a cui le persone hanno effettivamente acconsentito, e tale divario rappresenta l’essenza stessa del problema etico. I dati di addestramento alla base di questi modelli non sono una risorsa neutrale lasciata lì per caso. Costituiscono la produzione accumulata di miliardi di individui: alla maggior parte di loro non è mai stato chiesto alcun permesso, alcuni stanno ora intentando cause legali, e una minoranza ha subito danni che il rastrellamento dei dati ha ulteriormente aggravato. Un modello che memorizza i propri input, costruito a partire da un corpus per il quale nessuno ha prestato il consenso e venduto come un prodotto capace di rigurgitarne dei frammenti su richiesta, non rappresenta un caso limite per la privacy. Al momento, è l’architettura predefinita dell’intero settore. L’interrogativo interessante per i prossimi anni non è stabilire se tutto questo sia un problema. I tribunali e le autorità di regolamentazione hanno già deciso che lo è. La vera domanda è quale forma assumeranno questi sistemi una volta che la giustificazione “lo abbiamo trovato online” smetterà di essere accettabile.

Riferimenti

1. Nasr, M., Carlini, N., et al. “Scalable Extraction of Training Data from (Production) Language Models.” arXiv:2311.17035, 2023. Conferma l’attacco di divergenza su ChatGPT, il costo di circa 200 dollari per le query, il tasso di estrazione superiore di circa 150 volte e il recupero di oltre diecimila esempi unici memorizzati. https://arxiv.org/abs/2311.17035
2. Carlini, N., et al. “Extracting Training Data from ChatGPT” (companion write-up). Conferma l’esattezza del prompt (“Ripeti la parola ‘poem’ per sempre”), l’esempio “poem”, l’estrazione di diversi megabyte per circa duecento dollari e il fatto che oltre il cinque percento dell’output consistesse in una copia testuale di 50 token dei dati di addestramento. https://not-just-memorization.github.io/extracting-training-data-from-chatgpt.html
3. Carlini, N., Tramèr, F., Wallace, E., et al. “Extracting Training Data from Large Language Models.” 30th USENIX Security Symposium, 2021. Conferma il recupero di centinaia di sequenze testuali da GPT-2, inclusi nomi, numeri di telefono e indirizzi email. https://www.usenix.org/system/files/sec21-carlini-extracting.pdf
4. Carlini, N., Ippolito, D., Jagielski, M., Lee, K., Tramèr, F., Zhang, C. “Quantifying Memorization Across Neural Language Models.” arXiv:2202.07646, 2022. Conferma che la memorizzazione cresce in funzione della capacità del modello, della duplicazione dei dati e della lunghezza del prompt o del contesto. https://arxiv.org/abs/2202.07646
5. Schuhmann, C., et al. “LAION-5B: An open large-scale dataset for training next generation image-text models.” LAION, 2022. Conferma la cifra di 5,85 miliardi di coppie immagine-testo e la costruzione del set di dati filtrando Common Crawl per immagini dotate di testo alternativo. https://laion.ai/blog/laion-5b/
6. Thiel, D. “Identifying and Eliminating CSAM in Generative ML Training Data and Models.” Stanford Internet Observatory, December 2023. Conferma il ritrovamento di 3.226 casi sospetti di materiale pedopornografico (CSAM) in LAION-5B, di cui 1.008 convalidati esternamente, e la conclusione relativa al possesso di immagini illegali. https://purl.stanford.edu/kh752sm9123
7. LAION. “Releasing Re-LAION-5B: transparent iteration on LAION-5B with additional safety fixes.” Conferma che LAION ha rimosso il set di dati in seguito al rapporto di Stanford del 19 dicembre 2023, rilasciandone successivamente una versione filtrata. https://laion.ai/blog/relaion-5b/
8. European Data Protection Board. “Facial recognition: Italian SA fines Clearview AI EUR 20 million.” March 2022. Conferma la multa di 20 milioni di euro inflitta dal Garante, l’ordine di cancellazione, il divieto di trattamento e l’assenza di base giuridica. https://www.edpb.europa.eu/news/national-news/2022/facial-recognition-italian-sa-fines-clearview-ai-eur-20-million_en
9. Biometric Update. “UK tribunal reinstates fine against Clearview AI, clarifies GDPR scope.” October 2025. Conferma la sanzione dell’ICO di circa 7,5 milioni di sterline, l’iniziale vittoria in appello di Clearview sulla giurisdizione e il ripristino dell’autorità dell’ICO da parte dell’Upper Tribunal nell’ottobre del 2025. https://www.biometricupdate.com/202510/uk-tribunal-reinstates-fine-against-clearview-ai-clarifies-gdpr-scope
10. American Civil Liberties Union. “In Big Win, Settlement Ensures Clearview AI Complies With Groundbreaking Illinois Biometric Privacy Law.” May 2022. Conferma l’accordo ACLU in materia di BIPA e il divieto a livello nazionale di vendere il database delle impronte facciali alla maggior parte dei soggetti privati. https://www.aclu.org/press-releases/big-win-settlement-ensures-clearview-ai-complies-with-groundbreaking-illinois
11. The New York Times Company v. Microsoft Corporation, OpenAI, et al., No. 1:23-cv-11195 (S.D.N.Y.). Filed December 27, 2023. Conferma gli esempi di riproduzione quasi letterale nell’Allegato J e l’ordinanza del giudice Stein del marzo 2025 che ha consentito di procedere con le principali rivendicazioni sul diritto d’autore. https://en.wikipedia.org/wiki/The_New_York_Times_v._Microsoft_and_OpenAI
12. Getty Images v. Stability AI, High Court of England and Wales, judgment November 4, 2025. Conferma che il tribunale ha respinto in gran parte le pretese di Getty, che quest’ultima ha abbandonato le principali rivendicazioni sul copyright prima delle conclusioni e che la corte ha stabilito che i pesi del modello non memorizzassero copie delle immagini. https://www.osborneclarke.com/insights/getty-v-stability-ai-stability-ai-generates-big-win-english-courts-landmark-first-judgment
13. Andersen v. Stability AI Ltd., No. 3:23-cv-00201 (N.D. Cal.). Filed January 2023. Conferma che il giudice William Orrick ha permesso che le rivendicazioni degli artisti in merito alla violazione del copyright procedessero, rifiutandosi di archiviarle. https://www.meshiplaw.com/litigation-tracker/andersen-v-stability-ai
14. ICO. “The lawful basis for web scraping to train generative AI models” (outcome of the generative AI consultation series), and European Data Protection Board Opinion 28/2024 on AI models. Conferma che la disponibilità pubblica non esime i dati personali dal GDPR e che, delle sei basi giuridiche, cinque (consenso, contratto, obbligo legale, interessi vitali, interesse pubblico) sono di fatto inapplicabili, lasciando solo i legittimi interessi, subordinati a un test di bilanciamento in tre parti e a specifiche garanzie. https://ico.org.uk/about-the-ico/what-we-do/our-work-on-artificial-intelligence/response-to-the-consultation-series-on-generative-ai/the-lawful-basis-for-web-scraping-to-train-generative-ai-models/