Nel 2019, un team guidato da Ziad Obermeyer ha analizzato il funzionamento interno di un algoritmo commerciale utilizzato da ospedali e compagnie assicurative per decidere quali pazienti avessero bisogno di maggiori attenzioni mediche. Strumenti simili a quello studiato riguardavano le cure di circa 200 milioni di persone negli Stati Uniti ogni anno. L’algoritmo produceva un punteggio di rischio: più alto era il risultato, maggiore era la probabilità di essere segnalati per un programma di assistenza intensiva. Il sistema funzionava, nel senso che veniva eseguito, produceva numeri e i medici li utilizzavano.

Presentava però anche un pregiudizio razziale di cui nessuno si era accorto, poiché il punteggio si basava su una sostituzione silenziosa. Il modello non prevedeva il livello di gravità della malattia del paziente, ma quanto sarebbe costato. Dato che, storicamente, per i pazienti neri venivano spesi meno soldi a parità di condizioni cliniche, questi dovevano essere notevolmente più malati dei pazienti bianchi per ottenere lo stesso punteggio. Il team di Obermeyer ha scoperto che correggere l’obiettivo, prevedendo la malattia anziché la spesa, avrebbe aumentato la percentuale di pazienti neri segnalati per ricevere ulteriore assistenza dal 17,7% al 46,5%. ^[1]

Il pregiudizio non era nascosto nel senso di essere crittografato o segreto. Era nascosto nel senso che il sistema non offriva alcun modo per individuarlo. Si inserivano i dati di un paziente e si otteneva un numero, il quale non forniva alcuna giustificazione di sé. Questo è il problema della scatola nera, ed è il tema di questo articolo: cosa significa pretendere che un modello spieghi le proprie decisioni, se le spiegazioni che otteniamo abbiano un qualche valore e su chi ricada la responsabilità quando la risposta è negativa.

La scatola e cosa c’è dentro

Un moderno modello di machine learning è una funzione dotata di milioni o miliardi di parametri calibrati. Una rete neurale profonda, addestrata su cartelle cliniche, non memorizza una regola del tipo “se il colesterolo è alto e il paziente fuma, aumenta il rischio”. Memorizza invece una vasta rete di pesi che, presi nel loro insieme, generano un risultato. Nessun singolo peso ha un significato isolato. Non esiste una riga di codice che si possa indicare per affermare: la decisione è avvenuta qui.

Non si tratta di uno stato temporaneo di ignoranza che una migliore ingegneria potrà risolvere, bensì di una proprietà intrinseca al modo in cui i modelli vengono costruiti. Si baratta la trasparenza in cambio dell’efficacia. La stessa flessibilità che permette a una rete di cogliere schemi sottili nei dati è esattamente ciò che la rende refrattaria a una lettura in termini umani. Se si tratta di consigliare un film, la cosa non interessa a nessuno. Ma di fronte a una decisione sulla libertà su cauzione, su un mutuo, su uno screening oncologico o su quali pazienti debbano ricevere un’assistenza clinica limitata, l’incapacità di spiegarne il motivo inizia a sembrare meno una nota tecnica a margine e più un fallimento nella gestione.

Attorno a questo problema sono nate due risposte diverse, e saperle distinguere è fondamentale.

Spiegare una scatola contro costruirne una di vetro

La prima risposta prende il nome di spiegabilità, o spiegazione post-hoc. Si mantiene la scatola nera e le si aggancia un interprete all’esterno. L’interprete osserva i dati in entrata e i risultati in uscita, cercando di ricostruire una narrazione comprensibile per l’uomo su ciò che il modello sta facendo.

I due strumenti più noti in questo ambito sono LIME e SHAP. LIME, introdotto da Marco Ribeiro e colleghi nel 2016, approssima il modello complesso nelle immediate vicinanze di una singola previsione utilizzandone uno lineare semplice, partendo dal presupposto che persino una funzione fortemente non lineare appare quasi retta se la si ingrandisce a sufficienza. ^[2] SHAP, ideato da Scott Lundberg e Su-In Lee nel 2017, prende in prestito un’idea dalla teoria dei giochi cooperativi: tratta ogni variabile come un giocatore e calcola quanto questa abbia contribuito a spingere la previsione verso l’alto o verso il basso, utilizzando una quantità chiamata valore di Shapley. ^[3] Entrambi forniscono lo stesso tipo di artefatto: un piccolo grafico a barre che indica, ad esempio, come un prestito sia stato rifiutato per il 40% a causa del reddito, per il 30% a causa dello storico creditizio e così via.

La seconda risposta è l’interpretabilità: non costruire affatto una scatola nera. Si crea, invece, un modello i cui meccanismi siano leggibili fin dalla progettazione. Un albero decisionale breve, un sistema di punteggio con una manciata di fattori ponderati, un modello lineare sparso. In questi casi è possibile leggere l’intero processo. Non c’è nulla da ricostruire, poiché nulla è stato nascosto.

Potrebbero sembrare due strade per arrivare alla stessa destinazione. Cynthia Rudin, informatica presso la Duke University, ha trascorso anni a sostenere che non lo sono, e che confonderle sistematicamente comporta un prezzo alto da pagare.

Perché la spiegazione non è il modello

L’articolo pubblicato da Rudin nel 2019 su Nature Machine Intelligence ha un titolo che funge anche da tesi: “Smettere di spiegare i modelli di machine learning a scatola nera per decisioni ad alto rischio e usare invece modelli interpretabili”. ^[4] Il suo punto centrale è facile da trascurare perché suona pedante, finché non ci si riflette a fondo. Una spiegazione post-hoc è il modello di un modello. Si tratta di un secondo sistema, addestrato per approssimare il primo. Se riproducesse l’originale alla perfezione, sarebbe semplicemente l’originale stesso. Di conseguenza, per definizione, deve essere sbagliato da qualche parte. La spiegazione e il modello concordano la maggior parte delle volte e divergono in altre occasioni, e in genere non è possibile stabilire di fronte a quale caso ci si trovi.

Questo divario non è puramente accademico. Nel 2020, Dylan Slack e colleghi hanno dimostrato che è possibile usarlo come un’arma. Hanno costruito classificatori che risultavano palesemente discriminatori sugli input reali, ma che erano in grado di rilevare i punti dati artificiali e perturbati che LIME e SHAP utilizzano per sondare un modello. Quando il sistema di spiegazione entrava in azione, il modello si comportava bene e produceva una giustificazione all’apparenza innocente, citando variabili inoffensive. Sulle decisioni effettive, invece, continuava a discriminare. ^[5] La spiegazione non era soltanto imperfetta. Era un alibi, per di più facile da fabbricare.

L’ulteriore affermazione di Rudin, supportata da un corpus crescente di studi, è che il presunto prezzo dell’interpretabilità è spesso immaginario. In molti problemi del mondo reale con dati strutturati e significativi, un modello interpretabile ben progettato ottiene risultati simili a quelli della scatola nera che andrebbe a sostituire. Lo strumento di previsione della recidiva COMPAS, al centro di una celebre controversia sull’equità, è una scatola nera proprietaria che utilizza oltre un centinaio di variabili. Rudin e altri ricercatori hanno dimostrato che modelli trasparenti, basati su una manciata di variabili, prevedono la reiterazione del reato con un’accuratezza pressoché identica. Se un modello leggibile su un semplice cartoncino eguaglia un modello che nessuno può decifrare, la scatola nera non sta offrendo maggiore precisione. Sta offrendo negabilità.

Tutto questo non significa che gli strumenti post-hoc siano inutili. Per un sistema a basso rischio, o come ausilio di debug per gli ingegneri che lo hanno costruito, LIME e SHAP sono autenticamente preziosi. L’argomentazione è più circoscritta e tagliente: quando la decisione è consequenziale e irreversibile per chi la subisce, una narrazione approssimativa su un modello illeggibile rappresenta lo strumento sbagliato; ricorrervi permette a tutti di sentirsi responsabili senza che nessuno lo sia per davvero.

Chi paga quando la scatola sbaglia

Supponiamo che il modello causi effettivamente un danno. A un richiedente qualificato viene negato un prestito, a un paziente viene negata l’assistenza di cui aveva bisogno in fase di triage, qualcuno viene segnalato come rischio di frode e il suo conto viene bloccato. Di chi è la responsabilità?

La risposta onesta, oggi e nella maggior parte dei luoghi, è che la questione è complessa e tale complessità gioca a favore di chi ha implementato il sistema. Per vincere una causa per negligenza, in genere occorre dimostrare cosa sia andato storto e in che modo la condotta dell’imputato abbia causato il danno. Con una scatola nera, le prove necessarie a tale scopo sono rinchiuse all’interno di un sistema non ispezionabile, spesso di proprietà di un’azienda che lo considera un segreto commerciale. L’opacità che rende il modello difficile da governare lo rende anche difficile da contestare in tribunale. L’onere della prova ricade sulla parte che ha meno accesso alla prova stessa.

L’Europa ha cercato di colmare questa lacuna per poi fare marcia indietro, il che rende l’idea di quanto sia arduo il problema. Nel settembre 2022, la Commissione Europea ha proposto una Direttiva sulla responsabilità dell’IA, concepita per alleggerire l’onere della prova a favore delle persone danneggiate dai sistemi di intelligenza artificiale; tra le misure previste vi era la possibilità per i tribunali di ordinare la divulgazione di prove sui sistemi ad alto rischio e la presunzione di un nesso causale in determinati casi in cui un fornitore avesse violato le regole. ^[6] Non è mai stata approvata. L’11 febbraio 2025, la Commissione ha inserito la proposta tra quelle da ritirare nel proprio programma di lavoro, citando la mancanza di un accordo prevedibile tra gli Stati membri e una più ampia spinta verso la semplificazione della normativa digitale. ^[6] Il ritiro è diventato ufficiale nel corso dello stesso anno.

Pertanto, il regime di responsabilità dedicato è, per ora, tramontato, e il vuoto che avrebbe dovuto colmare è occupato da un mosaico normativo: regole generali sulla responsabilità del prodotto, la Direttiva rivista sulla responsabilità del prodotto, leggi settoriali e sistemi nazionali di responsabilità civile che non sono stati scritti pensando ai modelli statistici adattivi. Il risultato è che la questione di responsabilità sollevata in modo più acuto dalla scatola nera, ovvero chi risponda del risultato, è proprio quella per cui la legge è meno preparata.

Quando la scatola sceglie un bersaglio

Gli esempi fatti finora appartengono all’ambito civile: un prestito, un punteggio di triage, un conto bloccato. Il problema della responsabilità, tuttavia, non si limita a questa sfera. Il 28 febbraio 2026, durante l’inizio della guerra tra Stati Uniti e Iran, un missile da crociera statunitense Tomahawk ha distrutto la scuola elementare Shajareh Tayyebeh a Minab, nel sud dell’Iran. Sono state uccise più di 150 persone, tra cui oltre cento bambini, insieme a insegnanti e genitori. I primi conteggi variavano da circa 156 a 168 morti a seconda della fonte. ^[12]

L’attacco non è partito da un’arma autonoma che ha scelto le proprie vittime. È scaturito da una catena di puntamento che conteneva al suo interno una scatola nera. Le forze statunitensi hanno utilizzato il Maven Smart System di Palantir, che integra Claude di Anthropic per aiutare a classificare i potenziali bersagli in base all’importanza strategica e per elaborare l’enorme volume di informazioni di intelligence alla base di ogni attacco. ^[12] Un essere umano ha approvato l’attacco, ed è questa la salvaguardia che tutti indicano. L’amministratore delegato di Anthropic ha in seguito dichiarato che il principio secondo cui “è un essere umano a prendere la decisione finale” era stato rispettato, pur ammettendo che l’azienda “non sapeva esattamente come” i propri modelli fossero stati impiegati nell’operazione. ^[13]

La causa scatenante è stata banale e umana. Lo US Central Command ha elaborato le coordinate di puntamento partendo da informazioni che la Defense Intelligence Agency non aveva aggiornato per segnalare che il sito era diventato una scuola. Ex funzionari hanno dichiarato senza mezzi termini che a produrre il risultato sono stati dati obsoleti, curati da esseri umani e inseriti nella macchina, non un malfunzionamento dell’IA. ^[12] È un dettaglio fondamentale da tenere a mente, poiché smentisce le narrazioni semplicistiche in entrambe le direzioni. L’IA non è impazzita. Ma nemmeno la presenza di “un umano nel ciclo decisionale” ha salvato qualcuno.

Si tratta del medesimo vuoto di responsabilità dell’esempio del prestito, ingigantito fino a diventare insopportabile. Una macchina classifica un bersaglio e può persino redigere le motivazioni per colpirlo. Un essere umano approva, sotto la pressione del tempo, una raccomandazione che arriva avvolta nell’autorità di un sistema capace di elaborare più dati di quanti chiunque potrebbe mai leggere. Quando le cose vanno catastroficamente storte, la responsabilità si disperde: sull’analista che si è fidato delle coordinate, sul database che nessuno ha aggiornato, sul fornitore che ha costruito il sistema di classificazione, sull’azienda creatrice del modello che afferma di non poter ricostruire come quest’ultimo sia stato utilizzato. Tutti sono un po’ responsabili, il che in pratica equivale a dire che non lo è nessuno. La scatola nera non ha premuto il grilletto. Ha fatto sì che una stanza piena di persone potesse premerlo, permettendo a ciascuno di sentire di aver agito solo in base al risultato fornito.

La documentazione che rende una scatola verificabile

Se non si può sempre aprire la scatola, si può perlomeno esigere un resoconto di come sia stata costruita, ed è qui che si sono registrati i progressi più concreti. La tendenza è quella di allontanarsi dalle discussioni sulle singole spiegazioni per spostarsi verso la documentazione dell’intero sistema, affinché un revisore, un ente regolatore o un tribunale possano ricostruire le decisioni che ne hanno determinato lo sviluppo.

Due strumenti nati tra il 2018 e il 2019 hanno definito lo standard. Le Model Card, proposte da Margaret Mitchell e colleghi, sono brevi documenti standardizzati che accompagnano un modello addestrato: indicano per cosa è stato costruito, come si comporta suddiviso per gruppi quali etnia e genere anziché come un unico punteggio medio, i suoi limiti noti e le condizioni in cui non dovrebbe essere utilizzato. ^[7] I Datasheet for Datasets, ideati da Timnit Gebru e colleghi, fanno lo stesso per i dati sottostanti: da dove provengono, chi vi è incluso e chi manca, come sono stati raccolti ed etichettati, per cosa dovrebbero o non dovrebbero essere impiegati. ^[8] L’algoritmo sanitario studiato da Obermeyer è un caso esemplare del perché il secondo strumento sia fondamentale. Una scheda tecnica che avesse dichiarato chiaramente, per iscritto, che la variabile di riferimento era il costo e non la malattia avrebbe reso il difetto visibile a chiunque l’avesse letta prima dell’implementazione.

I governi e gli enti di standardizzazione hanno preso spunto da tutto ciò. Nel gennaio 2023, il National Institute of Standards and Technology statunitense ha pubblicato il suo AI Risk Management Framework, una struttura volontaria organizzata attorno a quattro funzioni: governare, mappare, misurare e gestire. Esso spinge le organizzazioni a stabilire le responsabilità, a identificare il contesto e i rischi di un dato sistema, a misurare tali rischi con metodi reali e a documentare ciò che ne resta. ^[9] L’AI Act dell’Unione Europea si spinge oltre e rende la documentazione un obbligo legale per i sistemi ad alto rischio: prima che un sistema del genere arrivi sul mercato, il fornitore deve redigere una documentazione tecnica, definita nell’Allegato IV della legge, sufficientemente dettagliata da consentire alle autorità di valutarne la conformità, e deve fornire agli utilizzatori istruzioni abbastanza chiare da comprendere e controllare i risultati del sistema. ^[10]

La documentazione non è una panacea. Una Model Card può essere scarna, un Datasheet può essere ignorato, un fascicolo di conformità può essere scritto per spuntare una lista di requisiti anziché per informare un lettore. Tuttavia, cambia la condizione di partenza. Trasforma la frase “ha deciso l’algoritmo” in un’affermazione firmata da qualcuno, con una traccia documentale alle spalle. È questa la differenza tra un sistema di cui bisogna fidarsi ciecamente e uno che si può ispezionare.

Una precisazione sul “diritto alla spiegazione”

C’è un aspetto che vale la pena chiarire, perché viene ripetuto così spesso da essersi trasformato in una leggenda metropolitana. Si legge di frequente che il GDPR europeo garantisca agli individui un “diritto alla spiegazione” per le decisioni automatizzate. È un’idea rassicurante ma, nella migliore delle ipotesi, controversa. Nel 2017, Sandra Wachter, Brent Mittelstadt e Luciano Floridi hanno argomentato in dettaglio che il testo vincolante del GDPR non stabilisce alcun diritto a ricevere una spiegazione su una specifica decisione automatizzata. Ciò che prevede in modo più chiaro è un più ristretto “diritto all’informazione”: informazioni significative ma generali sulla logica utilizzata, sull’importanza e sulle conseguenze previste del trattamento, divulgate in anticipo anziché come resoconto decisione per decisione a posteriori. ^[11]

Questa distinzione è essenziale per l’intera discussione. Se si crede che la legge garantisca già che qualsiasi algoritmo possa essere costretto a spiegarsi alla persona che ha giudicato, si sottovaluterà quanto di quella garanzia debba ancora essere costruito: nella progettazione dei modelli, nei documenti che li accompagnano e nelle regole di responsabilità che stabiliscono chi ne risponda in caso di fallimento. La scatola nera non si apre da sola, e nessuna legge l’ha silenziosamente aperta per noi. Quel lavoro deve ancora essere fatto.

References

1. Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447-453. https://www.science.org/doi/10.1126/science.aax2342
2. Ribeiro, M.T., Singh, S., & Guestrin, C. (2016). “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1135-1144. https://dl.acm.org/doi/10.1145/2939672.2939778
3. Lundberg, S.M., & Lee, S.I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems (NeurIPS), 4765-4774. https://papers.nips.cc/paper/2017/hash/8a20a8621978632d76c43dfd28b67767-Abstract.html
4. Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1, 206-215. https://www.nature.com/articles/s42256-019-0048-x (preprint: https://arxiv.org/abs/1811.10154)
5. Slack, D., Hilgard, S., Jia, E., Singh, S., & Lakkaraju, H. (2020). Fooling LIME and SHAP: Adversarial Attacks on Post hoc Explanation Methods. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (AIES), 180-186. https://dl.acm.org/doi/10.1145/3375627.3375830
6. European Commission (2022). Proposal for a Directive on adapting non-contractual civil liability rules to artificial intelligence (AI Liability Directive), 28 September 2022; listed for withdrawal in the Commission Work Programme 2025 (11 February 2025). Summary and status: https://www.twobirds.com/en/insights/2025/proposed-eu-ai-liability-rules-withdrawn
7. Mitchell, M., Wu, S., Zaldivar, A., et al. (2019). Model Cards for Model Reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT*), 220-229. https://dl.acm.org/doi/10.1145/3287560.3287596
8. Gebru, T., Morgenstern, J., Vecchione, B., et al. (2021). Datasheets for Datasets. Communications of the ACM, 64(12), 86-92. https://dl.acm.org/doi/10.1145/3458723 (preprint: https://arxiv.org/abs/1803.09010)
9. National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, January 2023. https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf
10. Regulation (EU) 2024/1689 (EU AI Act), Article 11 and Annex IV (Technical Documentation), Article 13 (Transparency and Provision of Information to Deployers). https://artificialintelligenceact.eu/article/11/
11. Wachter, S., Mittelstadt, B., & Floridi, L. (2017). Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation. International Data Privacy Law, 7(2), 76-99. https://academic.oup.com/idpl/article/7/2/76/3860948
12. 2026 Minab school attack. Reporting on the 28 February 2026 US Tomahawk strike on an elementary school in Minab, Iran, which killed more than 150 people including over a hundred children (early counts ranged from about 156 to 168), and on the role of Palantir’s Maven Smart System and Anthropic’s Claude in the targeting pipeline, with the strike attributed to outdated Defense Intelligence Agency coordinates. Wikipedia: https://en.wikipedia.org/wiki/2026_Minab_school_attack ; Military Times, “Deadly Iran school strike casts shadow over Pentagon’s AI targeting push” (24 March 2026): https://www.militarytimes.com/news/your-military/2026/03/24/deadly-iran-school-strike-casts-shadow-over-pentagons-ai-targeting-push/
13. Pequeño, A. (2026). Anthropic CEO: “We Don’t Know Exactly How” Claude AI Was Used In Iran School Strike. Forbes, 10 June 2026. Dario Amodei said a human made the final decision and that the company did not know exactly how its models had been used. https://www.forbes.com/sites/antoniopequenoiv/2026/06/10/anthropic-ceo-we-dont-know-exactly-how-claude-ai-was-used-in-iran-school-strike/