Rite Aid, l'importante catena di farmacie al dettaglio, ha accettato di interrompere l'uso della tecnologia di riconoscimento facciale basata sull'intelligenza artificiale come parte delle sue misure di prevenzione del taccheggio. Questa decisione arriva in risposta a un accordo legale con la Federal Trade Commission (FTC) e in mezzo alle accuse di profilazione razziale. Il sistema di intelligenza artificiale, utilizzato dal 2012, presumibilmente ha mostrato un pregiudizio, prendendo di mira in modo sproporzionato gli acquirenti neri, latini e asiatici rispetto alle loro controparti bianche.
Le accuse di profilazione razziale portano all'azione
L'utilizzo da parte di Rite Aid della tecnologia di riconoscimento facciale basata sull'intelligenza artificiale è stato sotto esame a causa della sua presunta profilazione di determinati gruppi razziali. Nello specifico, il sistema è stato utilizzato per identificare i clienti ritenuti potenzialmente coinvolti in un furto, attivando avvisi di corrispondenza per i dipendenti del negozio quando queste persone entravano nei locali. In modo inquietante, le prove presentate nei documenti legali suggeriscono che le persone di colore erano più frequentemente soggette a sorveglianza ingiustificata, molestie e imbarazzo pubblico.
Il cosiddetto fenomeno “shopping while black”, una preoccupazione di vecchia data, comporta sospetti ingiustificati, monitoraggio costante e accuse ingiuste di furto rivolte agli acquirenti neri dal momento in cui entrano nei negozi. Questo problema si estende a pratiche discriminatorie come chiudere i prodotti di bellezza e per la cura dei capelli dei neri dietro vetrine lasciando articoli simili per i clienti bianchi facilmente accessibili sugli scaffali aperti.
L’uso improprio della tecnologia di riconoscimento facciale da parte di Rite Aid sottolinea un caso di studio inquietante di ciò che alcuni esperti chiamano “razzismo al dettaglio”, evidenziando il ruolo problematico che l’intelligenza artificiale può svolgere nel rafforzare ed esacerbare le disuguaglianze razziali.
I pregiudizi nell’intelligenza artificiale
Rashawn Ray, professore di sociologia all’Università del Maryland e membro senior della Brookings Institution, sottolinea che le tecnologie di intelligenza artificiale spesso rispecchiano le disuguaglianze esistenti, poiché sono progettate e sviluppate in ambienti privi di diversità e inclusione. Quando gli stessi stereotipi che permeano gli incontri quotidiani vengono codificati in algoritmi, il risultato è una tecnologia di riconoscimento facciale che perpetua gli stereotipi razziali, simili ai pregiudizi umani.
I pregiudizi impliciti, radicati in scorciatoie mentali che associano inconsciamente determinati gruppi a particolari caratteristiche o comportamenti, sono un fattore significativo in questo problema. Negli ambienti di vendita al dettaglio, questi pregiudizi si manifestano spesso quando i dipendenti associano erroneamente gli acquirenti di colore a tendenze di furto non supportate dai dati. Nonostante le statistiche indichino che la maggior parte dei taccheggiatori negli Stati Uniti sono bianchi, l’uso improprio della tecnologia dell’intelligenza artificiale continua a diffondere la falsa narrativa sulla maggioranza dei taccheggiatori.
Sebbene il furto di beni comporti un rischio finanziario sostanziale per le imprese, la dipendenza di Rite Aid dall’intelligenza artificiale per la sorveglianza ha portato a conseguenze indesiderate. Gli acquirenti di colore, che sono stati presi di mira ingiustamente, hanno subito umiliazioni, con conseguente perdita di entrate per i negozi. Alcune comunità, in particolare quelle prive di opzioni di acquisto alternative, non hanno avuto altra scelta se non quella di frequentare stabilimenti in cui hanno subito discriminazioni e abusi.
Il ruolo dell'intelligenza artificiale oltre la vendita al dettaglio
Le implicazioni di un’intelligenza artificiale distorta si estendono oltre il settore della vendita al dettaglio, con preoccupazioni per il suo impatto sulla polizia e sulla sicurezza pubblica. Casi di alto profilo, come l’arresto illegale di una donna nera incinta a Detroit a causa di errori nella tecnologia di riconoscimento facciale, sollevano dubbi sull’affidabilità dei sistemi di sorveglianza basati sull’intelligenza artificiale.
I dati del Pew Research Center rivelano che gli intervistati neri mostrano la minore fiducia nella tecnologia di riconoscimento facciale nelle forze dell’ordine. Quasi la metà delle persone nere intervistate ha espresso preoccupazione per il fatto che gli agenti potrebbero utilizzare in modo improprio le tecnologie basate sull’intelligenza artificiale per sorvegliare quartieri prevalentemente neri e latini più frequentemente rispetto alle aree residenziali razzialmente diverse.
Invita alla cautela e ai test
All’inizio di quest’anno, cinque senatori statunitensi si sono opposti all’uso della tecnologia di riconoscimento facciale da parte della Transportation Security Administration (TSA) negli aeroporti statunitensi. Hanno citato uno studio che rivelava che gli individui neri e asiatici avevano una probabilità significativamente maggiore di essere identificati erroneamente da tale tecnologia rispetto agli uomini bianchi. Nell’ambito dell’accordo con la FTC, Rite Aid si è impegnata a sospendere l’uso di sistemi di sorveglianza basati sull’intelligenza artificiale per i prossimi cinque anni. Gli esperti suggeriscono che altri rivenditori seguano l’esempio, conducendo test rigorosi e ripetuti per eliminare i pregiudizi in queste tecnologie.