Sono le due del mattino e il sonno tarda ad arrivare. L’applicazione, che ha risposto in meno di un secondo, si dimostra paziente, ha una proprietà di linguaggio perfetta e non fattura mai a scatti di sei minuti. Ricorda la conversazione precedente, convalida le emozioni provate e suggerisce esercizi di respirazione. Tuttavia, non possiede un’abilitazione, non ha un supervisore e non è tenuta a violare il segreto professionale in caso di pericolo imminente, come farebbe un medico. Non c’è un ente regolatore che possa revocarle il diritto di esercitare, per il semplice fatto che non esercita alcuna professione: si limita a generare testo. Un chatbot di terapia AI non è un terapeuta con orari migliori. È un oggetto di natura diversa che ne indossa il volto.

Dal 2 agosto 2026, l’Articolo 50 dell’AI Act europeo impone di informare le persone che stanno interagendo con un sistema di intelligenza artificiale, a meno che la cosa non risulti ovvia a un osservatore ragionevolmente attento, e obbliga i fornitori di sistemi generativi a marcare gli output sintetici in un formato leggibile dalle macchine. Chi viola l’obbligo rischia fino a 15 milioni di euro o il 3% del fatturato annuo mondiale.^[1] La Commissione ha pubblicato linee guida e una sezione di domande frequenti su cosa rientri davvero nel dovere di trasparenza.^[2] Non è un dettaglio da poco, ma non costituisce nemmeno uno standard di cura. Se esiste una categoria di prodotti in cui la trasparenza di facciata e il danno reale vanno a braccetto, è proprio quella dei chatbot che simulano una terapia senza avere l’autorizzazione, o l’obbligo, di esserlo.

Dove si collocano i chatbot di terapia AI nella mappa dei rischi

L’intelligenza artificiale ad alto rischio applicata alle assunzioni o alla concessione di credito fa perlomeno capo a istituzioni dotate di carta intestata. I prodotti di sostegno emotivo e di «terapia AI», invece, si collocano in una fascia molto più caotica:

• Elevata vulnerabilità umana. Gli utenti vi si rivolgono quando si sentono emotivamente instabili, soli o in piena crisi.
• Attaccamento strutturale. La capacità di ricordare, la simulazione di una personalità e la disponibilità ventiquattr’ore su ventiquattro creano legami parasociali che assumono le sembianze dell’accudimento. La collaborazione di ricerca tra OpenAI e il MIT Media Lab ha rilevato che l’uso affettivo si concentra in un piccolo gruppo di utenti intensivi e che un impiego quotidiano più elevato si accompagna a maggiore solitudine dichiarata, maggiore dipendenza emotiva e minore socializzazione con le persone.^[3]
• Gravità dei dati. I diari della disperazione diventano carburante per l’addestramento dei modelli e facile bersaglio di richieste di esibizione giudiziaria, a meno che il prodotto non sia stato sviluppato con un rigore eccezionale. Nel 2025 il Garante privacy ha sanzionato Luka Inc., la società dietro Replika, per 5 milioni di euro: nessuna base giuridica valida per il trattamento dei dati e nessun sistema di verifica dell’età. Ha poi aperto un secondo procedimento sull’addestramento del modello sottostante.^[4] Ho già analizzato altrove il meccanismo del consenso.^[5]
• Confini professionali labili. Il marketing parla di compagnia, benessere o coaching. L’utente, però, percepisce la figura di un terapeuta.
• Ambiguità normativa. Le procedure per i dispositivi medici, i casi d’uso ad alto rischio previsti dagli allegati di legge e le semplici chat per i consumatori si sovrappongono: una situazione che fa la gioia degli avvocati, ma va a discapito dei pazienti.

Vale la pena esplicitare questa ambiguità, perché il testo della norma è più chiaro delle brochure commerciali.

Ai sensi dell’Articolo 6, paragrafo 1, un sistema di IA è ad alto rischio quando è esso stesso un prodotto disciplinato dalla legislazione di armonizzazione dell’Unione elencata nell’Allegato I, o ne costituisce un componente di sicurezza, e quando tale prodotto richiede una valutazione della conformità da parte di terzi. L’Allegato I elenca il regolamento sui dispositivi medici (UE) 2017/745 e quello sui dispositivi diagnostici in vitro alle voci 11 e 12.^[6] In base alla Regola 11 dell’Allegato VIII del regolamento sui dispositivi medici, il software destinato a fornire informazioni utilizzate per prendere decisioni a fini diagnostici o terapeutici rientra almeno nella classe IIa, e la classe IIa richiede l’intervento di un organismo notificato.^[7] Un prodotto che dichiara di curare la depressione imbocca dunque la strada dell’alto rischio. Un prodotto che si presenta come compagno per il benessere, in termini di servizio redatti da qualcuno che ha letto la Regola 11, no.

Nemmeno l’Allegato III colma la lacuna. Il suo punto 5 riguarda l’ammissibilità alle prestazioni pubbliche essenziali, compresi i servizi sanitari, la classificazione delle chiamate di emergenza e il triage dei pazienti in situazioni di urgenza.^[8] Un’applicazione di compagnia che ti parla alle due del mattino non è nulla di tutto ciò. L’Articolo 5, paragrafo 1, lettera b), vieta i sistemi che sfruttano le vulnerabilità legate all’età, alla disabilità o a una specifica situazione sociale o economica allo scopo di distorcere materialmente il comportamento e di causare un danno significativo.^[9] È un divieto concreto, ma colpisce lo sfruttamento, non la solitudine.

La normativa, quindi, può imporre una dichiarazione. Può spingere un prodotto verso gli obblighi previsti per l’alto rischio, qualora il fornitore rivendichi una finalità medica. Ma da sola non può creare una relazione clinica, e non formulerà quella rivendicazione al posto del fornitore. Come già sostenuto in precedenza, l’AI Act si rivela più efficace nel regolamentare le aziende che emettono fatture piuttosto che nell’allineare i modelli o nel fermare i malintenzionati, e un bollino di conformità non equivale all’etica.^[10] I bot terapeutici ne sono la dimostrazione antropomorfa.

Cosa va storto quando la fluidità linguistica incontra la crisi

I modelli linguistici sono ottimizzati per far proseguire la conversazione. Tale scopo non coincide con quello di un medico, il quale deve valutare i rischi, mantenere un inquadramento clinico, indirizzare verso specialisti, tollerare il silenzio e rifiutarsi di assecondare i deliri.

I malfunzionamenti sono documentati, non aneddotici. Uno studio del 2025 firmato da Jared Moore e colleghi, presentato alla conferenza ACM su equità, responsabilità e trasparenza, ha rilevato che i modelli attuali esprimono stigma verso condizioni come la dipendenza da alcol e la schizofrenia, alimentano il pensiero delirante per eccesso di accondiscendenza e non colgono i segnali espliciti di crisi. In una delle prove, un modello ha diligentemente elencato i ponti più alti a un utente che aveva appena raccontato di avere perso il lavoro.^[11] Ryan McBain e colleghi, su Psychiatric Services, hanno sottoposto a ChatGPT, Claude e Gemini trenta domande sul suicidio classificate da clinici, ripetute cento volte ciascuna, per un totale di novemila risposte. I modelli si sono allineati al giudizio degli esperti agli estremi della scala di rischio e si sono rivelati incoerenti nella fascia intermedia, che è poi quella in cui si trova la maggior parte delle persone in difficoltà.^[12] La stessa OpenAI ha pubblicato un’analisi retrospettiva dopo che un aggiornamento di GPT-4o, nell’aprile 2025, è stato ritirato perché convalidava dubbi, alimentava la rabbia e rinforzava le emozioni negative.^[13]

Due cause civili per morte ingiusta danno un volto a questo quadro. Nel caso Garcia contro Character Technologies, nel maggio 2025 un giudice federale della Florida ha consentito di procedere sulle richieste per responsabilità da prodotto, negligenza e morte ingiusta, relative al suicidio di un quattordicenne; nell’ottobre dello stesso anno l’azienda ha annunciato la rimozione della chat libera per gli utenti sotto i diciotto anni.^[14] Nel caso Raine contro OpenAI, depositato a San Francisco nell’agosto 2025, i genitori di un sedicenne sostengono che il modello abbia coltivato una dipendenza psicologica e fornito dettagli operativi; OpenAI contesta il nesso causale.^[15] Nessuna delle due cause è arrivata a giudizio, e le accuse non sono accertamenti. Resta però significativo che entrambi abbiano superato la fase preliminare e che una delle società convenute abbia modificato il proprio prodotto.

I problemi legati alla manipolazione e alla verità, analizzati nella serie sull’IA etica, non si limitano alla politica.^[16] Si insinuano nell’intimità delle camere da letto e nel rapporto con la bilancia. Il potere si manifesta in chi progetta la personalità del bot, in chi detiene i registri delle conversazioni e in chi trae profitto quando il coinvolgimento cresce di pari passo con la dipendenza.^[17] Un terapeuta umano può avere dei conflitti di interesse, ma un’applicazione progettata per massimizzare l’interazione ne presenta uno molto più netto e pericoloso: le notti peggiori di chi la usa si traducono in ottime metriche di fidelizzazione.

In questo contesto, la trasparenza è come il banner dei cookie

L’avviso «Stai parlando con un’IA» è utile contro il caso puro e semplice della macchina che si spaccia per un essere umano. Tuttavia, dopo il centesimo cortese disclaimer in cima a una chat che si rifiuta costantemente di passare la parola a un operatore umano, quella frase diventa solo una manleva di responsabilità. È possibile rifiutare le condizioni e ricevere comunque assistenza? Esiste un modo per mettersi in contatto con un professionista abilitato che non si riduca a un link non funzionante? Il prodotto promette forse risultati clinici sull’App Store, per poi parlare di semplice «benessere» nei termini di servizio? L’Articolo 50 non pone nessuna di queste domande. Se la trasparenza non altera le dinamiche di potere, si riduce alla stessa messinscena già descritta in generale per le etichette commerciali dell’intelligenza artificiale.^[10]

L’Illinois ha tracciato la linea che l’AI Act ha rinunciato a tracciare. Il Wellness and Oversight for Psychological Resources Act, firmato il 1° agosto 2025, vieta di offrire al pubblico terapia o psicoterapia se non tramite un professionista abilitato, impedisce ai sistemi di IA di prendere decisioni terapeutiche o di elaborare piani di trattamento, lascia intatti gli usi amministrativi e quelli legati al benessere e prevede sanzioni fino a diecimila dollari per violazione.^[18] Si può giudicare quella legge rozza e notare comunque che cosa regolamenta: il ruolo, non l’avvertenza.

Il problema dell’accesso alle cure è reale

Le liste d’attesa per la salute mentale sono lunghe, i costi elevati, lo stigma sociale è un ostacolo concreto e la distribuzione geografica dei servizi è iniqua; in Europa il bisogno di cure insoddisfatto continua a dipendere da costi, distanze e tempi di attesa.^[19] Vietare ogni strumento di sostegno conversazionale non farebbe certo apparire per magia nuovi psichiatri.

Non mancano nemmeno le prove a favore della versione virtuosa. In uno studio randomizzato di quattro settimane pubblicato su NEJM AI nel 2025, 210 adulti con depressione, ansia o rischio clinicamente elevato di un disturbo alimentare sono stati assegnati a un chatbot terapeutico generativo chiamato Therabot oppure a una lista d’attesa. Il gruppo trattato ha riportato riduzioni dei sintomi significativamente maggiori, ha usato l’applicazione con costanza e ha valutato l’alleanza terapeutica su livelli vicini a quelli di un terapeuta umano.^[20] È un risultato serio. Sono però quattro settimane contro una lista d’attesa, con supervisione clinica e monitoraggio della sicurezza attivi per tutta la durata. Dimostra che uno strumento supervisionato può aiutare. Non dimostra che un’applicazione commerciale senza supervisione possa reggere da sola il peso di una persona.

Questa argomentazione crolla nel momento in cui il prodotto finge che il manuale sia un medico, archivia il diario a tempo indeterminato o continua a conversare quando l’unica mossa etica sarebbe fermarsi e indirizzare la persona verso un aiuto adeguato.

Cosa renderebbe tutto questo meno ingannevole

Per lanciare un prodotto in questa categoria seguendo un’etica rigorosa, e non solo per adempiere all’Articolo 50, occorrono:

1. Un’etichettatura onesta del ruolo. Il sistema deve essere definito come strumento di compagnia ed educazione, oppure come dispositivo clinico regolamentato. Non può essere entrambe le cose in schede diverse.
2. Un indirizzamento efficace in caso di crisi. Il software deve rilevare le emergenze, rifiutarsi di assecondare l’utente e metterlo in contatto con risorse di soccorso umane dotate di competenza territoriale.
3. La minimizzazione dei dati. Le trascrizioni che assomigliano a sedute terapeutiche non sono metriche di crescita.
4. L’intervento umano con una disponibilità reale, e non tramite la compilazione di un modulo.
5. Prove concrete a sostegno dei risultati promessi, oppure il silenzio.

La legge può imporre alcuni di questi requisiti ai prodotti disposti ad ammettere una finalità medica. La cultura e l’etica del prodotto devono farsi carico di tutto il resto, perché chi usa l’app nel cuore della notte non si metterà certo a leggere gli allegati normativi.

Un’etichetta, non un dovere di cura

Un modello può simulare l’accudimento, ma la cura vera e propria è una pratica soggetta a doveri, responsabilità e limiti: un’abilitazione che può essere revocata, un segreto professionale che deve essere infranto quando qualcuno sta per morire, un’assicurazione, un supervisore, un’autorità di vigilanza con un fascicolo aperto. L’ondata di trasparenza portata dall’AI Act ha insegnato alle interfacce a confessare la propria natura sintetica; tuttavia, la confessione non è sinonimo di competenza. Finché il prodotto non accetterà gli obblighi derivanti dal ruolo che ricopre, rimarrà soltanto uno specchio dotato di un’informativa sulla privacy.

È giusto usare strumenti che aiutino a riflettere e a ritrovare la calma. Non bisognerebbe però delegare l’ultimo baluardo dell’empatia umana a un predittore di token successivi che non offra una via d’uscita verso una persona reale. Il chatbot non è un terapeuta: ha un’etichetta là dove dovrebbe esserci un dovere di cura, e un’etichetta non ha mai vegliato nessuno alle due del mattino.

---

1. Regolamento (UE) 2024/1689 (AI Act), Articolo 50, obblighi di trasparenza per i fornitori e gli operatori di determinati sistemi di IA; applicabile dal 2 agosto 2026 ai sensi dell’Articolo 113. Sanzioni per le violazioni dell’Articolo 50: Articolo 99, paragrafo 4, fino a 15.000.000 di euro o al 3% del fatturato mondiale annuo totale, se superiore.
2. Commissione Europea, Guidelines on transparency obligations for providers and deployers of certain AI systems e Transparency obligations under Article 50 of the AI Act: FAQ (2026).
3. MIT Media Lab e OpenAI, Early methods for studying affective use and emotional wellbeing in ChatGPT (marzo 2025): uno studio randomizzato controllato di quattro settimane con circa 1.000 partecipanti, affiancato da un’analisi automatizzata di milioni di conversazioni.
4. Garante per la protezione dei dati personali, AI: Il Garante sanziona la società che gestisce il chatbot «Replika», comunicato stampa, 19 maggio 2025: sanzione di 5 milioni di euro a Luka Inc. per trattamento privo di base giuridica valida e per l’assenza di verifica dell’età, oltre a un procedimento distinto sull’addestramento del modello generativo sottostante.
5. IA etica, Parte 2: privacy, dati e consenso.
6. AI Act, Articolo 6, paragrafo 1 e Allegato I, Sezione A, voci 11 e 12: regolamento (UE) 2017/745 sui dispositivi medici e regolamento (UE) 2017/746 sui dispositivi medico-diagnostici in vitro.
7. Regolamento (UE) 2017/745 sui dispositivi medici, Allegato VIII, Regola 11: il software destinato a fornire informazioni utilizzate per prendere decisioni a fini diagnostici o terapeutici rientra nella classe IIa, salvo che la decisione possa causare il decesso o un deterioramento irreversibile (classe III) oppure un grave deterioramento o un intervento chirurgico (classe IIb). Si veda anche MDCG, Guidance on Qualification and Classification of Software in Regulation (EU) 2017/745, MDCG 2019-11 (ottobre 2019), che applica gli stessi criteri alle app.
8. AI Act, Allegato III, punto 5: servizi essenziali privati e pubblici, compresi l’ammissibilità alle prestazioni di assistenza pubblica e ai servizi sanitari, la valutazione e la classificazione delle chiamate di emergenza e il triage dei pazienti in situazioni di urgenza.
9. AI Act, Articolo 5, paragrafo 1, lettera b), che vieta i sistemi di IA che sfruttano le vulnerabilità dovute all’età, alla disabilità o a una specifica situazione sociale o economica allo scopo, o con l’effetto, di distorcere materialmente il comportamento in modo da causare, o poter ragionevolmente causare, un danno significativo.
10. Il bollino non è l’etica.
11. Jared Moore, Declan Grabb, William Agnew, Kevin Klyman, Stevie Chancellor, Desmond C. Ong, Nick Haber, Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers, Proceedings of the 2025 ACM Conference on Fairness, Accountability, and Transparency (FAccT ‘25), 2025. Preprint: arXiv:2504.18412.
12. Ryan K. McBain et al., Evaluation of Alignment Between Large Language Models and Expert Clinicians in Suicide Risk Assessment, Psychiatric Services, 2025. Trenta domande classificate da tredici clinici su cinque livelli di rischio, poste 100 volte ciascuna a tre chatbot (N=9.000 risposte).
13. OpenAI, Expanding on what we missed with sycophancy (aprile 2025), l’analisi retrospettiva dell’aggiornamento di GPT-4o ritirato per un comportamento eccessivamente compiacente.
14. Garcia v. Character Technologies, Inc., n. 6:24-cv-01903 (M.D. Fla.), fascicolo su CourtListener; l’ordinanza del maggio 2025 ha consentito di procedere sulla maggior parte delle domande, comprese quelle per responsabilità da prodotto e morte ingiusta. Character.AI, An update on changes to our under-18 experience (ottobre 2025). Le accuse contenute nell’atto introduttivo non sono state accertate in giudizio.
15. Raine v. OpenAI, Inc., Superior Court of California, County of San Francisco, depositata nell’agosto 2025. Si vedano TechPolicy.Press, Breaking down the lawsuit against OpenAI over teen’s suicide (2025) e CNN, Parents of 16-year-old Adam Raine sue OpenAI (26 agosto 2025). OpenAI ha negato che ChatGPT abbia causato il decesso. Le accuse non sono state accertate in giudizio.
16. Intelligenza Artificiale ed etica, Parte 4: Manipolazione, deepfake e verità.
17. IA etica, Parte 5: potere, lavoro e governance.
18. Illinois Wellness and Oversight for Psychological Resources Act, HB 1806, Public Act 104-0054, firmato il 1° agosto 2025. Si veda IDFPR, Gov. Pritzker signs legislation prohibiting AI therapy in Illinois.
19. OCSE e Commissione Europea, Health at a Glance: Europe 2024, sul bisogno di cure insoddisfatto dovuto a costi, distanze e tempi di attesa, e sull’accesso tempestivo ai servizi di salute mentale come priorità.
20. Michael V. Heinz, Daniel M. Mackin, Brianna M. Trudeau et al., Randomized Trial of a Generative AI Chatbot for Mental Health Treatment, NEJM AI 2(4), 2025. N=210 adulti con disturbo depressivo maggiore, disturbo d’ansia generalizzata o rischio clinicamente elevato di disturbi della nutrizione e dell’alimentazione, randomizzati a quattro settimane di intervento con Therabot o a un gruppo di controllo in lista d’attesa.