È stato scoperto che il riconoscimento facciale è distorto dal punto di vista razziale, riconoscendo facilmente i volti degli uomini bianchi mentre identifica erroneamente le donne di colore il 35% delle volte. Uno studio del programma Rekognition AI di Amazon ha erroneamente abbinato 28 membri del Congresso degli Stati Uniti con foto segnaletiche provenienti da un database criminale. Il 40% degli errori erano persone di colore (Jackie Snow, How People with Disabilities Are Using AI to Improve Their Lives, “pbs.org”, 30 gennaio 2019; ACLU, Facial Recognition, “aclu.org”, consultato il 15 lottobre 2021; ACLU, How is Face Recognition Surveillance Technology Racist?, “aclu.org”, 16 giugno 2020; Alex Najibi, Racial Discrimination in Face Recognition Technology, “harvard.edu”, 4 ottobre 2020).
L’intelligenza artificiale è stata impiegata in modo sproporzionato anche contro le comunità di colore e mulatte, con più telecamere di sorveglianza della polizia federale e locale nei quartieri di colore e una maggiore sorveglianza sui social media di Black Lives Matter e altri attivisti di colore. Le stesse tecnologie vengono utilizzate per le decisioni relative agli alloggi e all’occupazione e per gli screening aeroportuali della TSA. Alcune città, tra cui Boston e San Francisco, hanno vietato alla polizia l’uso del riconoscimento facciale per questi motivi (ACLU, Facial Recognition, cit.; ACLU, How is Face Recognition Surveillance Technology Racist?, cit.).
Si è scoperto che un particolare software di intelligenza artificiale incaricato di prevedere il rischio di recidiva per i tribunali statunitensi – il Correctional Offender Management Profiling for Alternative Sanctions (Compas) – etichetta falsamente gli imputati di colore come ad alto rischio con una percentuale doppia rispetto ai difensori bianchi, e etichetta falsamente gli imputati bianchi come a basso rischio più spesso (Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, Machine Bias, “propublica.org”, 23 maggio 2016; Stephen Buranyi, Rise of the Racist Robots – How AI Is Learning All Our Worst Impulses, “theguardian.com”, 8 agosto 2017).
In Cina, l’intelligenza artificiale per il riconoscimento facciale è stata utilizzata per tracciare gli uiguri, una minoranza in gran parte musulmana. Gli Stati Uniti e altri governi hanno accusato il governo cinese di genocidio e lavoro forzato nello Xinjiang, dove vive una vasta popolazione di uiguri (Paul Mozur, One Month, 500,000 Face Scans: How China Is Using A.I. to Profile a Minority, “nytimes.com”, 14 aprile 2019; Who Are the Uyghurs and Why Is China Being Accused of Genocide?, “bbc.com”, 21 giugno 2021).
Al di là del riconoscimento facciale, gli algoritmi di intelligenza artificiale online spesso non riescono a riconoscere e censurare gli insulti razzisti, come un recente incidente nella descrizione di un prodotto Amazon per una bambola di colore. L’intelligenza artificiale è inoltre incapace di distinguere tra quando la parola “N” viene usata come insulto e quando viene usata culturalmente da una persona di colore. È stato anche scoperto che gli algoritmi di intelligenza artificiale mostrano un “persistente pregiudizio anti-musulmano”, associando la violenza alla parola “musulmano” a un tasso più elevato rispetto a parole che descrivono altre religioni, tra cui cristiani, ebrei, sikh o buddisti (Jorge Barrera and Albert Leung, AI Has a Racism Problem, but Fixing It Is Complicated, Say Experts, “cbc.ca”, 17 maggio 2020; Jacob Snow, Amazon’s Face Recognition Falsely Matched 28 Members of Congress with Mugshots, “aclu.org”, 26 luglio 2018).
