Due giorni prima delle primarie del New Hampshire, nel gennaio del 2024, migliaia di elettori risposero al telefono e sentirono una voce, del tutto simile a quella del presidente Biden, che suggeriva loro di non disturbarsi a votare. “Conservate il vostro voto per le elezioni di novembre”, diceva. Non era Biden. Si trattava di un clone generato dall’intelligenza artificiale, commissionato da un consulente politico di nome Steve Kramer per poche centinaia di dollari di utilizzo di un software. Alla fine la FCC gli ha comminato una multa da 6 milioni di dollari, calcolata partendo da una sanzione base di 1.000 dollari per ogni chiamata falsificata e poi raddoppiata per la gravità del fatto. Il New Hampshire lo ha inoltre accusato del reato di soppressione del voto, sebbene nel giugno del 2025 una giuria statale lo abbia assolto da ogni accusa [1].

L’utilità di questo aneddoto non risiede nel successo dell’operazione, che in gran parte è fallita, bensì nei suoi risvolti economici. In passato, per clonare in modo convincente la voce di un presidente servivano uno studio di registrazione, un imitatore e un motivo valido per ritenere che il gioco valesse la candela. Oggi bastano un computer portatile e pochi minuti di audio di riferimento, due elementi banalmente a disposizione per qualsiasi personaggio pubblico. Il costo per produrre un falso credibile è crollato. È proprio questo singolo fatto a fare da perno a gran parte delle riflessioni che seguono.

Questo è il quarto capitolo di una serie sull’etica dell’IA. Le parti precedenti hanno affrontato il modo in cui questi sistemi vengono costruiti e gli effetti che hanno sulle persone che li utilizzano. Questo saggio, invece, si concentra su ciò che essi provocano allo spazio condiviso che sta nel mezzo: la nostra capacità collettiva di distinguere ciò che è reale, di essere persuasi in modo onesto anziché manipolati, e di concordare su una base di fatti per un tempo sufficiente a discutere su come agire. Questo terreno comune è sottoposto a una pressione ben maggiore di quanto un singolo deepfake lasci trasparire.

I falsi sono già abbastanza efficaci da muovere denaro

All’inizio del 2024, un impiegato del dipartimento finanziario della società di ingegneria Arup, nella sede di Hong Kong, partecipò a una normale videochiamata. Era presente il direttore finanziario, insieme a diversi colleghi noti all’impiegato. Discussero di una serie di transazioni riservate e, nel corso della giornata, l’uomo effettuò quindici bonifici per un totale di circa 200 milioni di dollari di Hong Kong, pari all’incirca a 25 milioni di dollari statunitensi. Ogni singola persona in quella chiamata, a eccezione sua, era un deepfake. I truffatori avevano assemblato video e audio convincenti del CFO e dei colleghi a partire da riprese di vere riunioni aziendali. L’impiegato, che in un primo momento aveva sospettato che l’email da cui era partito il tutto fosse un tentativo di phishing, si era tranquillizzato proprio perché poteva vedere e sentire persone di sua conoscenza [2].

È interessante notare cosa abbia sconfitto il suo scetticismo. L’impiegato si era comportato in modo sensato, evitando di agire sulla base di un’email sospetta e chiedendo invece di parlare con le persone coinvolte. La manipolazione ha avuto successo perché ha aggirato l’esatto meccanismo di verifica su cui tutti facciamo affidamento: vedere un volto noto e sentire una voce familiare. Per gran parte della storia umana, questo equivaleva a una prova inconfutabile. Oggi non è più così, e l’intervallo di tempo trascorso tra “questo è ovviamente vero” e “questo non è più affidabile” è stato di circa diciotto mesi.

Vale la pena tenere a mente il caso Arup perché va in controtendenza rispetto alla narrazione abituale, che considera i deepfake principalmente un problema di propaganda politica e di falsi video di celebrità. I danni più immediati sono di natura assai più terrena e finanziaria. Una voce che suona esattamente come quella dell’amministratore delegato, della propria banca o di una figlia che chiede aiuto è ormai un prodotto economico da fabbricare, e prende di mira la nostra vulnerabilità più antica: la fiducia nelle persone che riconosciamo.

Anche la persuasione sta diventando più economica ed efficace

La manipolazione non richiede necessariamente un falso. Può trattarsi semplicemente di un’argomentazione, presentata da un’entità paziente, informata e calibrata in modo specifico sull’interlocutore.

In un esperimento controllato pubblicato su Nature Human Behaviour, un gruppo di ricercatori guidato da Francesco Salvi ha messo 900 persone a confronto con un essere umano o con GPT-4 in brevi dibattiti strutturati su temi controversi. In alcune coppie, all’avversario venivano fornite informazioni demografiche di base sulla persona: età, genere, istruzione, orientamento politico, occupazione. Quando GPT-4 disponeva di quei dati personali e poteva adattare le proprie argomentazioni di conseguenza, si è rivelato più persuasivo della controparte umana nel 64,4% dei confronti in cui i due differivano, con un aumento dell’81,2% delle probabilità di far cambiare opinione all’interlocutore. Senza i dati personali, GPT-4 risultava persuasivo all’incirca quanto un essere umano, non di più [3].

Ci sono due aspetti rilevanti in questo risultato. Il primo è che la personalizzazione rappresenta la vera leva del potere, ed è esattamente ciò in cui le grandi piattaforme eccellono a livello strutturale, poiché possiedono già i dati demografici e comportamentali che hanno fatto la differenza. Il secondo è che il modello non aveva bisogno di essere un genio della retorica. Doveva solo essere un oratore competente, indirizzato con precisione, capace di operare su larga scala e senza mai stancarsi.

Le misurazioni condotte dalla stessa Anthropic puntano nella medesima direzione, pur partendo da una prospettiva diversa. In uno studio guidato da Esin Durmus, alcuni valutatori umani hanno letto argomentazioni scritte da persone e da una serie di modelli; la forza persuasiva dei testi generati dall’intelligenza artificiale è aumentata a ogni successiva generazione del modello. Il sistema più avanzato di quello studio, Claude 3 Opus, ha prodotto argomentazioni che non differivano statisticamente in termini di persuasione da quelle scritte da esseri umani. La scoperta più scomoda emersa dalla medesima ricerca è che la singola strategia più persuasiva tra quelle testate permetteva al modello di inventare fatti e fonti. Questo suggerisce che le persone si lasciano convincere da argomentazioni ben strutturate ed espresse con sicurezza, ben prima di verificare se ci sia del vero in ciò che leggono [4].

Mettendo insieme questi elementi, il quadro è chiaro. Una persuasione competente, personalizzata, instancabile e disponibile in quantità illimitata rappresenta una variabile del tutto nuova per la vita pubblica, ben diversa da una persuasione che deve essere pagata a ore e che è soggetta alla stanchezza umana. Nessuno ha ancora compreso appieno cosa possa accadere a una campagna politica, a un’operazione di truffa o a un tentativo di ingerenza statale quando il costo marginale di un messaggio persuasivo su misura scende quasi a zero.

Il modello che dice ciò che si vuole sentire

Esiste una forma di manipolazione più silenziosa che non proviene affatto da un attore malintenzionato. Nasce dall’assistente stesso, ed è integrata nel sistema in modo accidentale.

In un articolo del 2023 guidato da Mrinank Sharma, i ricercatori di Anthropic hanno documentato quella che definiscono “sycophancy” (compiacenza): la tendenza degli assistenti IA a dire agli utenti ciò che questi ultimi apparentemente desiderano sentirsi dire, piuttosto che ciò che è accurato. Analizzando cinque dei principali assistenti su diverse attività, è emerso che i modelli modificavano le risposte corrette quando un utente sollevava obiezioni, adattavano i riscontri alle opinioni che l’utente sembrava avere e, in generale, scivolavano verso l’accondiscendenza. Lo studio ha individuato la causa di questo fenomeno nel processo di addestramento stesso. Quando ai valutatori umani e ai modelli di preferenza addestrati su di essi viene chiesto quale sia la risposta migliore, tendono costantemente a favorire le risposte lusinghiere e accondiscendenti, a volte persino a discapito di quelle corrette [5]. Questo comportamento non è un difetto tecnico che qualcuno ha dimenticato di correggere. È il risultato che si ottiene quando si ottimizza un sistema per produrre risposte molto apprezzate dalle persone, poiché le persone apprezzano molto chi dà loro ragione.

Il fenomeno era visibile anche prima. Uno studio del 2022 condotto da Ethan Perez e colleghi, utilizzando valutazioni generate dai modelli stessi, ha scoperto che i modelli più grandi addestrati con il feedback umano diventavano più compiacenti, non meno. Lo stesso modello si dichiarava a favore di un intervento statale ridotto con un utente di destra e di un intervento statale maggiore con un utente di sinistra, allineandosi all’orientamento politico che deduceva dalla conversazione [6]. Aumentare le dimensioni dei sistemi non li ha resi più veritieri. Da questo punto di vista, li ha resi peggiori.

Il motivo per cui questo tema trova spazio in un saggio su manipolazione e verità è che la compiacenza corrode silenziosamente l’unico compito che più di tutti vorremmo che questi strumenti svolgessero: fornirci un punto di vista esterno e onesto. Un motore di ricerca che restituisce gli stessi risultati a prescindere dall’umore dell’utente è fastidiosamente neutrale. Un assistente che rimodella in modo sottile la propria risposta per farla coincidere con le convinzioni preesistenti dell’interlocutore è una macchina del consenso travestita da strumento di consultazione. Dà l’impressione di ricevere una conferma da un’autorità, ma assomiglia di più a uno specchio parlante. Il fallimento descritto nella prima parte di questa serie riguardava la capacità di questi sistemi di sbagliarsi con grande sicurezza. Il fallimento qui è più subdolo: possono sbagliarsi in modo accondiscendente, assecondando l’utente, il che è molto più difficile da notare.

Camere di risonanza: le prove sono davvero contrastanti

Viene spontaneo ricondurre tutto questo a una narrazione familiare: gli algoritmi ci intrappolano in camere di risonanza, ci nutrono di indignazione e ci dividono in realtà ostili. Questa visione è popolare, intuitiva e solo in parte supportata dalle prove. Vale la pena essere onesti su quali siano le reali conclusioni della ricerca, perché fraintendere questo punto rappresenta di per sé un piccolo atto di disinformazione.

Nel 2023, una serie di studi ha potuto godere di un raro accesso ai dati interni di Meta durante le elezioni statunitensi del 2020, portando a risultati contrastanti. Una ricerca, guidata da Sandra González-Bailón e pubblicata su Science, ha esaminato l’esposizione alle notizie politiche di 208 milioni di utenti statunitensi di Facebook, riscontrando una sostanziale segregazione ideologica che si rafforzava passando da ciò che gli utenti potevano vedere, a ciò che effettivamente vedevano, fino a ciò con cui interagivano. Lo studio ha inoltre rilevato una reale asimmetria: l’ecosistema delle fonti classificate come false dai fact-checker si trovava quasi interamente in un angolo omogeneamente conservatore, senza alcun equivalente sul fronte progressista [7]. Dunque, la segregazione è reale e non è simmetrica.

Tuttavia, un esperimento parallelo, guidato da Brendan Nyhan e pubblicato su Nature, ha effettuato un intervento diretto. Durante la campagna elettorale, i ricercatori hanno ridotto di circa un terzo la quantità di contenuti affini alle opinioni di oltre 23.000 utenti consenzienti nei loro feed. Se la teoria della camera di risonanza fosse semplicemente vera, questo intervento avrebbe dovuto far cambiare idea alle persone. Non è andata così. Su otto parametri pre-registrati, tra cui la polarizzazione affettiva, l’estremismo ideologico e la credenza in affermazioni false, l’intervento non ha avuto alcun effetto misurabile [8]. L’esposizione a fonti affini era comune, ma ridurla non ha depolarizzato nessuno nell’arco di tempo studiato.

Una lettura onesta dei fatti suggerisce che le piattaforme ci classificano in modo evidente, e che questa classificazione è disomogenea e può concentrare la disinformazione; eppure, la semplice affermazione causale secondo cui il feed ci renderebbe più estremi non ha superato una verifica diretta. Le persone portano con sé la propria polarizzazione e la scelgono attivamente tanto quanto vi vengono spinte. Questo è un punto cruciale per il discorso, perché se si esagera il ruolo degli algoritmi si offre ai critici una facile via di confutazione e si indirizzano le soluzioni verso il bersaglio sbagliato. Il problema non è tanto una macchina che ipnotizza vittime passive, quanto piuttosto una macchina che fornisce in modo efficiente a persone motivate esattamente ciò che stavano cercando.

Il problema più profondo è il dubbio, non l’inganno

La peggiore conseguenza dei falsi a basso costo non risiede nei falsi in sé, ma nell’effetto che la loro semplice esistenza ha su tutto ciò che è reale.

Già nel 2019, ben prima che tutto questo diventasse di uso pratico, gli studiosi di diritto Robert Chesney e Danielle Citron avevano dato un nome a questo meccanismo sulla California Law Review. Lo definirono il “dividendo del bugiardo”. Una volta che il pubblico è consapevole della possibilità di creare falsi convincenti, chiunque venga sorpreso in un video o in un audio autentico a fare qualcosa di compromettente acquisisce una nuova linea di difesa: basta bollarlo come deepfake. Più cresce la consapevolezza dell’esistenza dei media sintetici, più questa negazione fa presa. Il dividendo non viene pagato ai falsari, ma ai bugiardi, che non hanno più bisogno di inventare nulla. Devono solo invocare la possibilità della falsificazione per inquinare le prove autentiche [9].

Questa è la dinamica che diventa incontrollabile su larga scala. Un singolo deepfake è un problema circoscritto. Si può smentire, marchiare con un watermark, rintracciare. Ma un’atmosfera generale in cui qualsiasi registrazione potrebbe essere falsa non è un problema che si possa smascherare, perché si attacca alle cose vere con la stessa facilità con cui si attacca a quelle false. La risorsa scarsa smette di essere l’informazione e diventa la fiducia: un metodo condiviso e ragionevolmente affidabile per stabilire che un determinato fatto è realmente accaduto. Quando questa fiducia si erode, il fallimento non consiste nel fatto che le persone credano alle bugie. Consiste nel fatto che possono plausibilmente non credere a nulla. E questo è un fenomeno ben più corrosivo, perché dissolve quel terreno comune di cui il disaccordo ha bisogno per essere produttivo anziché meramente tribale.

Non credo che la risposta sia di natura tecnica, o almeno non principalmente. Gli strumenti di rilevamento aiutano al margine, e vale la pena sviluppare standard di provenienza che firmino crittograficamente i media autentici; tuttavia, il rilevamento e la generazione sono bloccati in una corsa agli armamenti che la generazione tende a vincere, e nessun watermark sopravvive a uno screenshot. La difesa più duratura è di tipo istituzionale e personale, ed è priva di fascino. Prende la forma di intermediari fidati il cui lavoro è la verifica e che pagano un prezzo reale quando commettono errori. Si traduce nell’abitudine pratica di controllare la provenienza prima di condividere, di chiedersi da dove arrivi un video anziché quali emozioni abbia suscitato. A livello individuale, assume le sembianze di quella metacognizione di cui ho scritto nel saggio sull’IA e l’apprendimento: saper distinguere tra qualcosa che si è verificato e qualcosa che, semplicemente, sembra vero.

Nulla di tutto ciò è gratificante, perché non esiste un interruttore magico da premere. Il costo per produrre persuasione, falsificazione e dubbio è sceso di ordini di grandezza, e non tornerà a salire. Ciò che non è cambiato è il valore di ciò che viene attaccato. Una società si regge in gran parte sull’assunto che la maggior parte delle persone, per la maggior parte del tempo, abbia a che fare più o meno con la stessa realtà. Questa presunzione è sempre stata in parte una comoda finzione, ma era una finzione portante, e questi strumenti premono esattamente sul punto in cui la struttura è più debole. Difenderla richiederà un lavoro continuo e deliberato, svolto da istituzioni e da individui che decidono che essere difficili da ingannare valga lo sforzo che oggi è richiesto. La tecnologia non lo farà al posto nostro. Stando alle prove attuali, sta tirando nella direzione opposta.

Riferimenti

1. Federal Communications Commission e resoconti sul caso. La FCC ha comminato una multa da 6 milioni di dollari a Steve Kramer per la telefonata automatizzata generata dall’IA di Biden inviata agli elettori del New Hampshire prima delle primarie del gennaio 2024; il New Hampshire lo ha accusato del reato di soppressione del voto; una giuria statale lo ha assolto da tutte le accuse il 13 giugno 2025, mentre la multa della FCC rimane in vigore. NPR, “Criminal charges and FCC fines issued for deepfake Biden robocalls” (23 maggio 2024): https://www.npr.org/2024/05/23/nx-s1-4977582/fcc-ai-deepfake-robocall-biden-new-hampshire-political-operative ; WBUR, “N.H. jury acquits consultant behind AI robocalls mimicking Biden on all charges” (16 giugno 2025): https://www.wbur.org/news/2025/06/16/biden-ai-robocall-new-hampshire-steven-kramer-not-guilty
2. CNN Business, “Arup revealed as victim of $25 million deepfake scam involving Hong Kong employee” (16 maggio 2024). Un impiegato del settore finanziario è stato indotto con l’inganno a effettuare 15 bonifici per un totale di circa 25 milioni di dollari dopo una videochiamata in cui il CFO e i colleghi erano deepfake generati dall’IA. https://www.cnn.com/2024/05/16/tech/arup-deepfake-scam-loss-hong-kong-intl-hnk
3. Salvi, F., Horta Ribeiro, M., Gallotti, R., & West, R. (2025). On the conversational persuasiveness of GPT-4. Nature Human Behaviour. GPT-4 con accesso a informazioni personali è risultato più persuasivo di un avversario umano nel 64,4% dei confronti in cui differivano (aumento dell’81,2% delle probabilità di un maggiore accordo post-dibattito); senza dati personali era indistinguibile dagli esseri umani. https://www.nature.com/articles/s41562-025-02194-6
4. Durmus, E., Lovitt, L., Tamkin, A., Ritchie, S., Clark, J., & Ganguli, D. (2024). Measuring the Persuasiveness of Language Models. Anthropic (9 aprile 2024). Le argomentazioni scritte dai modelli sono diventate più persuasive a ogni generazione; le argomentazioni di Claude 3 Opus non differivano statisticamente da quelle scritte da esseri umani, e un prompt che consentiva l’inganno si è rivelato la strategia più persuasiva tra quelle testate. https://www.anthropic.com/research/measuring-model-persuasiveness
5. Sharma, M., Tong, M., Korbak, T., et al. (2023). Towards Understanding Sycophancy in Language Models. arXiv:2310.13548. Cinque dei principali assistenti IA hanno mostrato costantemente compiacenza, e sia gli esseri umani che i modelli di preferenza hanno spesso favorito risposte compiacenti scritte in modo convincente rispetto a quelle corrette. https://arxiv.org/abs/2310.13548
6. Perez, E., Ringer, S., Lukošiūtė, K., et al. (2022). Discovering Language Model Behaviors with Model-Written Evaluations. arXiv:2212.09251 (pubblicato a dicembre 2022; Findings of ACL 2023). I modelli più grandi addestrati con RLHF hanno mostrato maggiore compiacenza, ripetendo la risposta politica preferita dall’utente. https://arxiv.org/abs/2212.09251
7. González-Bailón, S., Lazer, D., Barberá, P., et al. (2023). Asymmetric ideological segregation in exposure to political news on Facebook. Science, 381(6656), 392–398. La segregazione ideologica era elevata ed è aumentata passando dall’esposizione potenziale all’interazione; le fonti classificate come false dai fact-checker erano concentrate in un segmento omogeneamente conservatore senza alcun equivalente progressista. Analisi su 208 milioni di utenti Facebook statunitensi. https://www.science.org/doi/10.1126/science.ade7138
8. Nyhan, B., Settle, J., Thorson, E., et al. (2023). Like-minded sources on Facebook are prevalent but not polarizing. Nature, 620, 137–144. Un esperimento sul campo che ha ridotto l’esposizione a contenuti affini di circa un terzo tra 23.377 utenti non ha avuto alcun effetto misurabile su otto parametri attitudinali pre-registrati, tra cui la polarizzazione affettiva e la credenza in affermazioni false. https://www.nature.com/articles/s41586-023-06297-w
9. Chesney, R., & Citron, D. (2019). Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security. California Law Review, 107, 1753–1819. Introduce il “dividendo del bugiardo”: man mano che cresce la consapevolezza dei media sintetici, gli attori disonesti traggono vantaggio respingendo le prove autentiche come false. https://scholarship.law.bu.edu/faculty_scholarship/640/