Nel gennaio del 2020, la polizia di Detroit si presentò a casa di Robert Williams e lo arrestò nel giardino antistante l’abitazione, sotto gli occhi della moglie e delle due figlie piccole. L’uomo trascorse circa trenta ore in cella. L’accusa a suo carico si basava su un sistema di riconoscimento facciale: il software aveva associato un fermo immagine sgranato, tratto dal video di sorveglianza di un negozio durante il furto di alcuni orologi da un punto vendita Shinola, alla foto della sua patente scaduta. L’associazione era errata. Williams non era l’uomo ripreso nel filmato e non si trovava affatto nei pressi del negozio. Si ritiene che sia la prima persona negli Stati Uniti ad aver subito un arresto ingiustificato a causa di un errore del riconoscimento facciale [1].

Questa vicenda rappresenta un ottimo punto di partenza per una serie di articoli sull’etica dell’intelligenza artificiale, poiché in essa non figura quasi nessun “cattivo” tradizionale. Nessun ingegnere si era prefissato di far arrestare un innocente cittadino afroamericano. La telecamera, l’algoritmo di corrispondenza, gli agenti, il database: ogni singolo elemento ha svolto, grosso modo, il compito per cui era stato progettato. Il danno è scaturito dal sistema nel suo complesso. Questa prima parte esplora l’effettiva origine di tale bias, i motivi per cui l’imperativo “basta rimuovere il pregiudizio” è molto più complesso di quanto sembri, e le ragioni per cui una parte di esso risulta matematicamente impossibile da eliminare senza dover rinunciare ad altri obiettivi auspicati.

Il bias si insinua attraverso i dati, le etichette e gli obiettivi

Intorno al 2014, Amazon iniziò a sviluppare uno strumento sperimentale per la selezione dei curriculum. L’idea di fondo era piuttosto banale: fornire alla macchina un decennio di candidature passate con i relativi esiti di assunzione, lasciando che imparasse a individuare i profili più promettenti. Già nel 2015, tuttavia, il team si rese conto che il modello penalizzava le donne. Il sistema declassava i curriculum che contenevano la parola “femminile”, ad esempio nell’espressione “capitano della squadra femminile di scacchi”, e assegnava punteggi inferiori a chi si era laureato in almeno due college esclusivamente femminili. Amazon tentò di correggere il tiro intervenendo sui termini specifici, ma non riuscì mai ad avere la certezza che lo strumento fosse imparziale e, alla fine, abbandonò il progetto [2].

A nessun componente di quel sistema era stato esplicitamente ordinato di preferire gli uomini. Il bias derivava dai dati di addestramento. La maggior parte dei curriculum che Amazon aveva ricevuto nei dieci anni precedenti proveniva da uomini, dato che il settore tecnologico è a prevalenza maschile. Di conseguenza, i modelli comportamentali che l’intelligenza artificiale aveva imparato a premiare erano quelli che descrivevano gli uomini assunti in passato. La macchina aveva fatto esattamente ciò che le era stato chiesto: riprodurre il passato. Poiché il passato era sbilanciato, lo era anche il futuro che essa proponeva.

Questo è il primo concetto fondamentale da assimilare. Un modello non ha opinioni. Possiede un set di addestramento, una serie di etichette che gli indicano quali esempi considerare validi, e un obiettivo che cerca di ottimizzare. Il bias può insinuarsi in ciascuno di questi tre passaggi.

Entra attraverso i dati quando gli esempi non sono rappresentativi, come nel caso dei curriculum prevalentemente maschili di Amazon. Entra attraverso le etichette quando i giudizi umani da cui il modello impara portano con sé i pregiudizi delle persone: se in passato funzionari del credito o dirigenti hanno preso decisioni parziali, un modello addestrato a imitarli erediterà quel bias, ripulendolo sotto una patina di apparente oggettività. Infine, entra attraverso l’obiettivo, ovvero il singolo valore numerico che il sistema è costruito per massimizzare. Un modello calibrato esclusivamente per prevedere “chi abbiamo assunto in passato” imparerà senza esitazione ad “assumere persone simili a quelle già assunte”, il che è ben diverso da “assumere le persone che svolgerebbero il lavoro nel modo migliore”. L’obiettivo che si codifica raramente coincide con l’obiettivo reale, ed è proprio in questo divario che si annida gran parte del bias.

Perché “basta rimuovere il bias” è un’impresa così ardua

Il primo istinto di Amazon fu quello più ovvio: individuare il segnale incriminato ed eliminarlo. Rimuovere la parola “femminile”. Impedire al modello di percepire il genere. Questo approccio non funziona quasi mai, e vale la pena capirne il motivo, poiché il medesimo fallimento si ripresenta ovunque.

La causa risiede nelle variabili proxy. Anche dopo aver rimosso l’attributo sensibile in sé, altre caratteristiche ne prendono silenziosamente il posto. Il genere non era realmente codificato solo nel termine “femminile”. Era disseminato in tutto il curriculum: negli sport praticati, nel fraseggio, nella scelta dei verbi, nelle scuole frequentate. Se si elimina un proxy, il modello si appoggia semplicemente agli altri. Si tratta della versione algoritmica di un problema molto più antico. Il cosiddetto redlining dei mutui (la discriminazione geografica nella concessione di prestiti) non aveva bisogno di una casella che indicasse l’etnia, poiché il codice postale svolgeva egregiamente la stessa funzione. Le caratteristiche correlate trasportano l’informazione proibita aggirando l’ostacolo che si è cercato di costruire.

È possibile osservare questa dinamica nel settore del credito, dove la posta in gioco è il denaro e i dati sono di alta qualità. Uno studio condotto da Bartlett, Morse, Stanton e Wallace a Berkeley ha esaminato milioni di mutui statunitensi, scoprendo che ai mutuatari latinoamericani e afroamericani venivano applicati tassi notevolmente più alti per gli stessi prestiti: circa 7,9 punti base in più sui mutui per l’acquisto e 3,6 sui rifinanziamenti, per una stima di circa 765 milioni di dollari all’anno in interessi aggiuntivi [3]. L’aspetto interessante per la nostra analisi è ciò che accadde con i sistemi di prestito algoritmici. L’erogazione del credito tramite Fintech, senza alcun funzionario in carne ed ossa e senza un volto a cui reagire, ottenne risultati migliori. Ridusse il divario di prezzo di oltre un terzo e non mostrò discriminazioni nelle richieste respinte. Tuttavia, il divario non si azzerò. Gli algoritmi, addestrati su dati di mercato plasmati dalla medesima storia sociale, continuavano a far pagare di più i mutuatari appartenenti alle minoranze [3]. Escludere l’intervento umano è stato utile, ma non ha fatto svanire il problema, perché il bias non risiedeva esclusivamente nell’essere umano. Risiedeva nei dati che l’essere umano aveva generato.

Quando le definizioni di equità entrano in conflitto

A questo punto, la questione smette di essere un semplice problema di “impegnarsi di più”. Nel 2016, ProPublica pubblicò un’inchiesta su COMPAS, un punteggio di rischio utilizzato nei tribunali statunitensi per stimare la probabilità di recidiva di un imputato. Analizzando oltre 7.000 persone arrestate nella contea di Broward, in Florida, i giornalisti scoprirono che, tra gli imputati che non avevano poi commesso nuovi reati, gli afroamericani venivano segnalati come ad alto rischio quasi il doppio delle volte rispetto ai bianchi (un tasso di falsi positivi di circa il 45% contro il 23%). Al contrario, gli imputati bianchi che diventavano effettivamente recidivi venivano più spesso classificati erroneamente come a basso rischio [4].

Northpointe, l’azienda produttrice di COMPAS, si difese con un’affermazione che si rivelò altrettanto vera: il loro punteggio era calibrato. Un determinato punteggio indicava la stessa probabilità di recidiva a prescindere dall’etnia. Un “7” comportava il medesimo rischio reale sia per un imputato afroamericano sia per uno bianco [4]. Dunque, una parte sosteneva che lo strumento fosse viziato da pregiudizi, mentre l’altra affermava che fosse equo. La cosa singolare è che avevano entrambe ragione. Stavano misurando l’equità secondo due parametri differenti.

Non si tratta di un dibattito che si possa vincere alzando la voce, e due studi accademici lo hanno dimostrato. Kleinberg, Mullainathan e Raghavan hanno evidenziato come tre condizioni naturali che si pretenderebbero da un punteggio di rischio equo non possano coesistere simultaneamente, se non in casi del tutto eccezionali che di fatto non si verificano mai nel mondo reale (come ad esempio gruppi con tassi di base identici o previsioni assolutamente perfette) [5]. Chouldechova, lavorando direttamente sulla controversia di COMPAS, ha illustrato la stessa tensione in termini molto chiari: quando il tasso di fondo del risultato differisce tra due gruppi, un punteggio calibrato non può contemporaneamente avere tassi uguali di falsi positivi e falsi negativi per quegli stessi gruppi [6]. Se si sceglie la calibrazione, si è costretti ad accettare tassi di errore ineguali. Se si uniformano i tassi di errore, si compromette la calibrazione. Non è possibile ottenere entrambe le cose.

È questo il significato di “impossibilità dell’equità”, e rappresenta il concetto più importante dell’intero articolo. L’equità non è una singola manopola che si può semplicemente regolare al rialzo. È un insieme di proprietà in tensione tra loro e, non appena i tassi di base divergono, soddisfarle tutte non diventa solo difficile, ma matematicamente escluso. Il caso COMPAS non fu l’esempio di un’azienda negligente. Fu l’esempio di due definizioni di equità incompatibili, e di una scelta progettuale su quale delle due onorare che nessuno aveva preso in modo esplicito. La matematica non suggerisce quale definizione adottare. Si tratta di un giudizio di valore, e fingere che l’algoritmo lo abbia preso in autonomia è esattamente il modo in cui tale giudizio di valore viene occultato.

I tassi di errore disomogenei non sono distribuiti in modo uniforme

Il discorso astratto sui tassi di errore ha un volto estremamente concreto. Nel 2018, Joy Buolamwini e Timnit Gebru testarono tre sistemi commerciali di classificazione di genere e ne riportarono i risultati in base alla tonalità della pelle e al sesso. Sugli uomini con carnagione più chiara i sistemi erano quasi perfetti, con tassi di errore inferiori all’1%. Sulle donne con carnagione più scura, invece, fallivano fino a circa il 35% delle volte [7]. L’accuratezza media sembrava eccellente. Tuttavia, la media nascondeva il fatto che i fallimenti si concentravano quasi interamente su un unico gruppo.

Non si trattava del prodotto di un singolo fornitore scadente. Nel 2019, il National Institute of Standards and Technology statunitense condusse il più grande studio del genere, testando 189 algoritmi di riconoscimento facciale creati da 99 sviluppatori. Per le corrispondenze uno-a-uno, del tipo utilizzato per sbloccare uno smartphone o verificare un documento, i tassi di falsi positivi per i volti asiatici e afroamericani risultarono da 10 a 100 volte superiori rispetto a quelli per i volti bianchi, a seconda dell’algoritmo. Per le ricerche uno-a-molti, usate dalla polizia per individuare un sospetto in un database, i tassi di falsi positivi più alti ricadevano sulle donne afroamericane [8]. Un falso positivo nello sblocco del telefono è un fastidio. Un falso positivo nel database della polizia si traduce in Robert Williams arrestato nel giardino di casa sua.

Risalendo all’origine, la struttura del problema è identica a quanto visto finora. I sistemi erano stati addestrati su volti, e i volti che incontravano più spesso erano quelli su cui diventavano più precisi. L’obiettivo premiava l’accuratezza complessiva, e l’accuratezza complessiva ben tollera di essere eccellente sulla maggioranza e scarsa su una minoranza, poiché è la maggioranza a dominare la media. Nessuno aveva codificato una preferenza per la pelle chiara. La pipeline ne ha generata una ugualmente, e in seguito un dipartimento di polizia ha agganciato quella pipeline al potere di arresto.

Trattare le persone allo stesso modo non significa produrre su di loro i medesimi effetti

Il diritto si confronta con questo dilemma da molto più tempo dell’informatica, e ha tracciato un confine che vale la pena prendere in prestito. Nel 1971, la Corte Suprema degli Stati Uniti si pronunciò sul caso Griggs contro Duke Power. L’azienda richiedeva un diploma di scuola superiore e il superamento di test di intelligenza generale per accedere alle mansioni meglio retribuite. Sulla carta, la regola valeva per tutti. Nella pratica, escludeva i candidati afroamericani con tassi molto più elevati, e nessuno dei due requisiti si era dimostrato in grado di prevedere chi fosse effettivamente in grado di svolgere il lavoro. La Corte stabilì con 8 voti a favore e 0 contrari che il Titolo VII vieta le pratiche “eque nella forma, ma discriminatorie nell’applicazione”, e che “le buone intenzioni o l’assenza di intenti discriminatori” non salvano una prassi che agisce come un “vento contrario intrinseco” per un gruppo protetto, a meno che non sia strettamente e genuinamente correlata alla mansione lavorativa [9].

Da qui ricaviamo due concetti distinti. Il trattamento disparitario consiste nel decidere diversamente in base all’identità di una persona. L’impatto disparitario (o sproporzionato) si verifica quando una regola neutra ricade in modo ineguale, a prescindere dall’intenzione che la muove. Quasi tutti i casi analizzati in questo articolo appartengono alla seconda categoria. Lo strumento di Amazon non prevedeva una regola contro le donne: produceva conseguenze sfavorevoli nei loro confronti. I sistemi di riconoscimento facciale non nutrivano alcuna ostilità: presentavano tassi di errore distribuiti in modo disomogeneo. L’intenzione è il parametro sbagliato da cercare. Un modello non ha intenzioni, e la sentenza Griggs ci aveva già insegnato che l’intenzione non è mai stata il fulcro del problema.

Questa dottrina giuridica illustra anche perché la soluzione sia autenticamente complessa, e non semplicemente trascurata. Si consideri il caso della Apple Card. Nel 2019 fu accusata pubblicamente di sessismo dopo che diverse persone, tra cui un noto sviluppatore di software, segnalarono che agli uomini venivano offerti limiti di credito di gran lunga superiori rispetto alle loro mogli, nonostante le finanze condivise e un merito creditizio migliore. Il Dipartimento dei Servizi Finanziari di New York avviò un’indagine, analizzò le pratiche di circa 400.000 richiedenti nello Stato e non riscontrò alcuna violazione delle leggi sull’equità del credito [10]. Questo risultato merita di essere affiancato agli altri, non perché assolva i prestiti algoritmici, ma perché mostra il limite degli strumenti a disposizione. Dimostrare un impatto disparitario richiede i dati corretti, il giusto termine di paragone e uno standard che le prove possano effettivamente soddisfare. A volte l’effetto sproporzionato è reale e dimostrabile, come nello studio sui mutui. Altre volte, un’indagine dotata di un livello di accesso ai dati di gran lunga superiore a quello di qualsiasi osservatore esterno non riesce comunque a stabilire la verità in un senso o nell’altro. La posizione più onesta non consiste nel ritenere colpevole ogni sistema contestato. Consiste nel riconoscere che la giustificazione “abbiamo trattato tutti allo stesso modo” non è una difesa sufficiente, e non lo è mai stata fin dai tempi del caso Griggs.

Cosa ci lascia tutto questo

Il filo conduttore è che il bias in questi sistemi, di solito, non è un errore che qualcuno ha commesso e che può semplicemente annullare. È una proprietà intrinseca della pipeline. Si insinua attraverso dati che registrano un passato disuguale, attraverso etichette che veicolano il giudizio umano, e attraverso un obiettivo che ottimizza una media rimanendo indifferente a chi subisce gli errori. In parte può essere misurato e ridotto, come hanno fatto le società Fintech. In parte, non appena i tassi di base differiscono tra i gruppi, non può essere eliminato del tutto rispettando contemporaneamente ogni definizione di equità, poiché tali definizioni sono matematicamente incompatibili e qualcuno deve compiere una scelta.

Nulla di tutto ciò rappresenta un argomento a favore dell’abbandono di questi sistemi, e nulla di tutto ciò autorizza a fidarsene ciecamente. È piuttosto un appello a una specifica forma di onestà: onestà su ciò che i dati di addestramento contengono realmente, su quale definizione di equità un sistema è stato costruito per soddisfare (e quale, di conseguenza, sacrifica), e sulla profonda differenza tra il trattare le persone in modo identico e il produrre su di loro i medesimi effetti. La prossima parte sposterà l’attenzione dall’origine del bias a ciò che è concretamente possibile fare per affrontarlo, esplorando i limiti degli strumenti attualmente a nostra disposizione.

References

1. American Civil Liberties Union (2021). Williams v. City of Detroit. ACLU case page. https://www.aclu.org/cases/williams-v-city-of-detroit-face-recognition-false-arrest
2. Dastin, J. (2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G
3. Bartlett, R., Morse, A., Stanton, R., & Wallace, N. (2019). Consumer-Lending Discrimination in the FinTech Era. NBER Working Paper No. 25943. https://www.nber.org/system/files/working_papers/w25943/w25943.pdf
4. Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). Machine Bias. ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
5. Kleinberg, J., Mullainathan, S., & Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores. arXiv:1609.05807. https://arxiv.org/abs/1609.05807
6. Chouldechova, A. (2017). Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments. Big Data, 5(2), 153-163. https://arxiv.org/pdf/1703.00056
7. Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research (Conference on Fairness, Accountability, and Transparency). https://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212
8. Grother, P., Ngan, M., & Hanaoka, K. (2019). Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects. NISTIR 8280. National Institute of Standards and Technology. https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
9. Griggs v. Duke Power Co., 401 U.S. 424 (1971). U.S. Supreme Court. https://caselaw.findlaw.com/court/us-supreme-court/401/424.html
10. New York State Department of Financial Services (2021). Report on the Apple Card Investigation. https://www.dfs.ny.gov/reports_and_publications/press_releases/pr202103231