Race After Technology

Race After Technology di Ruha Benjamin. Come le nuove tecnologie riproducono la disuguaglianza razziale.

Race After Technology si apre con una breve storia personale ambientata nel quartiere di Crenshaw a Los Angeles, dove la sociologa Ruha Benjamin ha trascorso una parte della sua infanzia.

Ricordando il tempo in cui apri un negozio sulla veranda di sua nonna con una lavagna e invito altri bambini a fare problemi di matematica, scrive: "Per i pochi che verrebbero, distribuiro piccoli foglietti di carta... fino a quando qualcuno insistera che andiamo giocare. Inutile dire che non avevo tanti amici!" Ma oltre il portico, le cose non erano cosi accoglienti. Mentre guardava fuori dal finestrino posteriore durante i viaggi in macchina, vide "ragazzi in fila per i maltrattamenti della polizia", e all'interno della casa senti "il rombo senza sosta degli elicotteri della polizia in alto, cosi vicino che il tetto si sarebbe scosso". La sorveglianza onnipresente continuo quando visito sua nonna anni dopo come madre.

L'inizio personale di Benjamin da il tono all'approccio del suo libro, incentrato su come le moderne tecnologie invasive, dal software di riconoscimento facciale ai monitor elettronici della caviglia ai metadati delle foto scattate durante le proteste, ulteriori disuguaglianze razziali. Invece di limitarsi alle ragioni tecniche per cui i distributori di sapone a infrarossi non reagiscono alla pelle piu scura o che gli algoritmi che usano i nomi per predire l'etnia dei candidati al lavoro aggravano la discriminazione sul posto di lavoro, riconfigura le tecnologie come vascelli della storia, esplorando come le loro circostanze producono il loro effetti.

Presentato come "guida sul campo" e sottotitolato "Strumenti abolizionisti per il nuovo codice Jim", Race After TechnoloGy si preoccupa di introdurre molte tecnologie che non sono cosi invadenti e minacciose come la polizia armata che vola sopra di loro ma che sono ugualmente prepotenti. Una sorta di cifra critica per l'era dei Big Data e della sorveglianza di massa, il libro illustra come una tecnologia all'avanguardia riproduca cosi spesso le vecchie disuguaglianze. Come guida a come le buone intenzioni non riescono ancora a arginare pregiudizi (e spesso anche a amplificarli), Race After Technology ci offre anche un resoconto di come macchine e algoritmi possono essere razzisti. La tecnologia discriminatoria ha sempre una fonte umana, ci ricorda, ma il trucco e imparare a trovare il fantasma in agguato in ogni macchina.

Lo studio moderno dell'intersezione di razza e tecnologia ha le sue radici negli anni '90, quando l'utopismo tecnologico si scontro con il razzismo della cultura tecnologica. Mentre Internet cresceva in un enorme legame per il commercio e il tempo libero e divenne il cuore dell'industria moderna, i mali dei luoghi di lavoro tecnologici si manifestavano online in chat room, bacheche di messaggi e videogiochi multiplayer che erano pieni di molestie e discorsi di odio. Documentando questi casi, una serie di studiosi, attivisti e politici hanno tentato di combattere questi mali, ma con scarso successo.

Quando nel 1996 il Simon Wiesenthal invio lettere ai provider di Internet per protestare contro l'ascesa di siti web neonazisti, ad esempio, la risposta che ricevette da un rappresentante della Electronic Frontier Foundation, un'importante lobby tecnologica, trasmise un mantra ormai banale: "La migliore risposta e sempre quella di rispondere a parolacce con piu discorsi." Allo stesso modo, la ricercatrice di studi sui media Lisa Nakamura ha documentato un commento sprezzante in uno studio sul gioco online LambdaMOO. In risposta a una petizione comunitaria fallita per frenare le molestie razziali, un detrattore ha risposto: "Bene, chi conosce la mia razza se non glielo dico? Se la razza non e importante allora perche menzionarla? Se vuoi entrare in faccia a qualcuno con la tua razza, forse ti meriti un po di sfarzo."

Race After Technology appartiene a questa precedente tradizione di protesta e borsa di studio: libri come le raccolte seminali Race in Cyberspace e Communities in Cyberspace. Questo ha risposto a questo ambiente sprezzante documentando il modo in cui Internet ha alterato e consolidato le convenzioni sulla razza e l'identita, nonche il modo in cui tali spostamenti sono stati dettati dalle caratteristiche dei diversi spazi online. Da Byron Burkhalter esplorando come le persone nei newsgroup Usenet si affidassero a una serie di stranezze conversazionali e conoscenze specializzate per discernere la razza di altri utenti a Judith Donath esaminando come maniglie e firme online comunicavano le personalita e le identita dei loro autori, questi primi testi hanno reso ovvio che Internet e stato modellato dal mondo piu ampio, nel bene e nel male.

In Race After Technology, tuttavia, Benjamin espande questa intuizione, esaminando non solo l'emergere di una rete razzista, ma anche il modo in cui e prodotto da un settore tecnologico e un insieme di prodotti commerciali (online e off) che sono essi stessi modellati da pregiudizi storici, pregiudizi e disuguaglianze. Antropologo e sociologo di formazione, Benjamin si e specializzato nella ricerca sulla biotecnologia e la razza.

Il suo primo libro, People's Science, ha esplorato un'iniziativa sulle cellule staminali californiane che ha messo a tacere i soggetti di ricerca poveri e disabili, nonostante apparentemente progettato per riconoscere le loro preoccupazioni. Ha applicato il suo interesse per i divari tra ideali e pratiche scientifiche a una vasta gamma di argomenti, come la donazione di ovociti e algoritmi distorti, per punti vendita come HuffPost, The Guardian e Los Angeles Times. Race After Technology collega la ricerca di Benjamin e il suo piu ampio interesse ad aumentare l'alfabetizzazione del pubblico nella tecnologia. Meno radicato in un particolare tipo di tecnologia, il libro si concentra sulle pratiche e sulla retorica che modellano il modo in cui i problemi relativi alla razza in intelligenza artificiale, algoritmi e raccolta di dati che vengono trattati in tutto il settore tecnologico.

La prevalenza di fonti secondarie in Race After Technology puo rendere il libro piu simile a una revisione della letteratura che a una tesi focalizzata, ma le cose si concentrano mentre Benjamin allena il suo occhio errante su forme ricorrenti attraverso tecnologie, in particolare codici, che nel suo racconto comprendono la programmazione lingue, nonche nomi, indirizzi e hashtag. Codici, avverte, "agire come narrazioni" e "operare all'interno di potenti sistemi di significato che rendono alcune cose visibili, altre invisibili e creano una vasta gamma di distorsioni e pericoli".

La definizione sociale e tecnica di codici di Benjamin e uno dei punti cruciali del libro. Il suo interesse non e semplicemente quello di catalogare tutta la tecnologia oppressiva la fuori; il suo obiettivo e rendere leggibili i pericoli della tecnologia, insegnarci a leggere la tecnologia attraverso le lenti della storia e dell'esperienza.

Ci tiene a chiarire come le tecnologie di oggi canalizzano i sistemi sociali odiosi del passato, ribadisce l'idea di Michelle Alexander che viviamo in una nuova era di Jim Crow. Per lei, il razzismo non e solo un capitolo non raccontato nella storia della tecnologia; e una presenza costante, un leit motiv. Come Alexander, che ha coniato il termine "New Jim Crow" per accentuare il modo in cui lo stato carcerale e stato costruito da un modello razzista esistente sotto gli auspici della neutralita e dell'equita, Benjamin usa il suo per sottolineare quanto il pregiudizio centrale sia nei sistemi tecnologici apparentemente oggettivi.

Ruha Benjamin espone il suo caso rispondendo a una serie di domande in ogni capitolo. I robot, l'IA e gli algoritmi possono essere razzisti? Si. Sono errori "glitch" discriminatori? No. Le tecnologie imparziali ci liberano dai nostri pregiudizi? Ovviamente no. Afferma queste affermazioni in argomentazioni ad ampio raggio che rivelano modelli interessanti in una varieta di contesti. Per spiegare come i programmi per computer perpetuano il razzismo, ad esempio, ha esaminato Beauty AI, un concorso di bellezza del 2016 giudicato da un algoritmo di apprendimento automatico allora pioneristico. Sviluppato da una societa con sede in Australia e Hong Kong, l'algoritmo preferiva fortemente i concorrenti con un colore della pelle piu chiaro, scegliendo solo sei vincitori bianchi tra migliaia di candidati e lasciando i suoi creatori confusi. "Ai robot non piacevano le persone con la pelle piu scura", hanno detto in maniera concreta.

Invece di allontanare completamente i creatori di Beauty AI, Benjamin osserva il processo di deep learning che ha prodotto l'algoritmo, in cui il software e stato impostato per ordinare le foto in base alle immagini etichettate contrassegnate con informazioni su simmetria del viso, rughe, colore della pelle e altri fattori. Quelle etichette, osserva, erano codificate con pregiudizi su cio che definisce la bellezza, contaminando Beauty AI fin dall'inizio. Se l'apprendimento profondo e una teoria della mente, come afferma Mark Zuckerberg, Benjamin chiede: "Di chi e la mente modellata?"

Questa domanda risuona mentre esamina altre tecnologie che si basano su input discutibili. Discutendo i distributori automatici di sapone, che i video virali hanno dimostrato di non rispondere alle mani con tonalita della pelle piu scure, Benjamin passa intuitivamente da una spiegazione tecnica a una storica:

La tecnologia a infrarossi richiede che la luce ritorni indietro dall'utente e attivi il sensore, quindi la pelle con piu melanina, assorbendo come fa piu luce, non attiva il sensore. Ma questo resoconto strettamente tecnico non dice nulla sul perche questo particolare sensore e stato usato, se ci sono altre opzioni, che riconoscono uno spettro piu ampio di tonalita della pelle e su come questo problema e stato trascurato durante lo sviluppo e il test. Come le fontane segregate di un'era precedente, il distributore di sapone discriminatorio offre una finestra su un terreno sociale piu ampio.

Cio che e istruttivo qui e come i componenti umani e meccanici del distributore si mescolano in modo da riaffermare solo le disuguaglianze esistenti: dall'umano vengono le macchine che poi cambiano la vita umana.

I distributori di sapone sono, ovviamente, solo una parte della vita di tutti i giorni, e per i sistemi di portata piu ampia, come i software di polizia predittiva che assegnano punteggi di rischio di recidiva alle parole, Benjamin sottolinea quanto le loro metriche si basano su dati contaminati. "Il razzismo istituzionale, passato e presente, e il presupposto per le tecnologie carcerali alla base del sistema penale statunitense", scrive. "In ogni fase del processo dalle attivita di polizia, condanne e reclusione alla liberta condizionale vengono utilizzate valutazioni automatizzate del rischio".

Ancora una volta, il suo interesse e per la storia sociale della tecnologia. Se i punteggi di rischio si basano su dati derivati da eccessivi stop-and-frisks, disparita di condanne razzializzate e dragnet mirati come quelli che Benjamin ha visto crescere a Crenshaw, possono solo esacerbare i pregiudizi esistenti del sistema giudiziario.

Questi casi illustrano come le critiche tecnologiche espansive possano essere quando i risultati e gli effetti sono privilegiati rispetto alle intenzioni, e Race After Technology e piu vivace quando Benjamin sta frugando tra i milieus, collegando tecnologie, movimenti, politica e sistemi sociali disparati. Come lo inserisce in un passaggio interessante sul contesto storico piu ampio e sulle implicazioni di Black Lives Matter:

Il movimento per le vite nere e implicitamente un movimento antieugenetico. L'obiettivo non e solo quello di fermare le morti premature che derivano dalla violenza della polizia, ma di promuovere il potere e le risorse economiche, sociali e politiche che sosterranno la vita dei neri in modo piu ampio. La promozione della vita, a sua volta, richiede di fare i conti con i molteplici modi in cui la scienza e la tecnologia possono esporre le persone alla morte, dagli esperimenti della dottoressa Marion J. Sims condotti su donne anestetizzate schiavizzate e progettate per affinare le tecniche ginecologiche, all'allora 563 drone del presidente Barack Obama scioperi che ne hanno uccisi centinaia.

Ruha Benjamin fa in modo convincente questo passaggio dall'affermazione della vita insita nella materia Black Lives alla sua negazione nella guerra dei droni e nel razzismo scientifico. I link qui sono sia retorici che reali. Black Lives Matter, nato durante la presidenza Obama, si e organizzato attorno al tasso di mortalita materna nera sproporzionatamente alto, ma man mano che il movimento cresceva, prendeva spunto anche dall'estero. Le conseguenze del dispiegamento di Obama di forze di polizia e militari all'estero hanno influenzato il modo in cui Black Lives Matter si e organizzato contro gli abusi della polizia in patria, in citta come Baltimora, Dallas e Ferguson che hanno militarmente infame le forze di polizia. In momenti come questo, viene alla ribalta il capiente umanitarismo alla base del progetto di Benjamin: la ricerca dell'uguaglianza digitale e un progetto globale.

Cosa e rinfrescante su Race After Technology e che e chiaramente scritto per impedire qualsiasi tentativo di minimizzare o evitare le profonde disuguaglianze. Invece di trascinare titani della tecnologia come Zuckerberg, che un tempo utilizzava un visore per realta virtuale per visitare un sito disastroso, o accademici come John McWhorter, che hanno respinto il concetto di design discriminatorio dicendo: "Nessuno a Google ridacchio mentre programmava intenzionalmente il suo software per etichettare erroneamente i neri", Benjamin modifica le regole di ingaggio. Mentre parla francamente di aziende come Facebook e Amazon, che "codificano i giudizi in sistemi tecnici ma affermano che i risultati razzisti dei loro progetti sono del tutto esterni al processo di codifica", si concentra sulle loro azioni e pratiche piuttosto che sulle loro convinzioni dichiarate. Non ci sono fratelli tecnologici supercriminali nel suo account, nessuna malvagia cabala di troll che lancia attacchi di negazione del servizio dal Dark Web, nessun robot innocente corrotto dai mali intrinseci di Twitter. C'e solo il pregiudizio e la sua adattabilita perniciosa.

Il potente argomento di Benjamin ci aiuta a sondare le disuguaglianze sotto la superficie della tecnologia quotidiana e ci obbliga a costruire una politica che si concentri non solo sui baroni rapinatori della Silicon Valley ma sulla societa nel suo insieme. Invece di ridurre la tecnologia discriminatoria alle singole patologie, enfatizza i processi e le convergenze che attraversano tutta la cultura e l'economia americana. Ogni volta che sottolinea l'omogeneita dei creatori della tecnologia discriminatoria, nota anche che la disuguaglianza che questa tecnologia produce e un problema strutturale molto piu che personale. In effetti, secondo il suo accorto racconto, l'omogeneita della razza e del genere nel settore tecnologico puo facilmente mascherare altri come metodi condivisi e background educativi tra colleghi che rafforzano le gerarchie odierne.

Potremmo aspettarci un programmatore Black, cosi come si trova negli stessi sistemi di significato razziale e convenienza economica del resto dei suoi collaboratori, per codificare il software in un modo che perpetua gli stereotipi razziali. Oppure, anche se e consapevole e desidera intervenire, sara in grado di esercitare il potere di farlo?

Ruha Benjamin ci ricorda che le disuguaglianze che le tecnologie producono sono sociologiche e politiche oltre che culturali. La diversita puo caratterizzare un ambiente di lavoro avvolgendo al contempo i meccanismi decisionali. Puo essere improbabile, ma se la gestione e tutta bianca, una squadra di programmatori neri e in grado di combattere il razzismo nero come una bianca.

Questo e un punto importante e risponde a una domanda che il critico musicale Anupa Mistry ha recentemente sollevato in un saggio per Pitchfork sull'incorporazione di un'analisi strutturale in qualsiasi politica di rappresentazione. L'arte basata sull'identita e radicale, ha chiesto, se un gruppo emarginato la crea ma non articola o esplora una politica di accompagnamento? O, come diceva lei, "La rappresentazione che alimenta il content mill e davvero solo un pesce gatto?" Come notano sia Mistry che Benjamin, se non stiamo affrontando il potere e i sistemi, nulla cambiera.

Benjamin riconosce che affrontare il potere e i sistemi non sara facile. Nel discutere i programmi che usano la formazione professionale per preparare le persone incarcerate per il mercato del lavoro dopo che le loro sentenze sono state scontate, nota che questa tecnologia apparentemente innovativa non riesce ad affrontare un deterrente esistente per i detenuti in cerca di lavoro: "Il mercato del lavoro e gia modellato da una tecnologia che cerca di risolvere coloro che sono condannati o addirittura arrestati, indipendentemente dalla razza", osserva. "Quando tali soluzioni tecnologiche vengono utilizzate dai datori di lavoro per prendere decisioni di assunzione in nome dell'efficienza, ci sono poche opportunita per un ex criminale, di ottenere l'empatia di un datore di lavoro." Allo stesso modo, la pratica sanitaria di hot-spotting, che utilizza i dati geografici per allocare le risorse in aree con pazienti con esigenze piu elevate, puo sembrare che affronti le disparita nella qualita e nel costo dell'assistenza sanitaria. Ma come scrive Benjamin, nel suo uso ingenuo di dati geografici e una definizione top-down di "bisogni elevati", lo spotting a caldo spesso utilizza la logica della profilazione razziale ed e ancora un altro ostacolo alla creazione di un sistema sanitario piu egualitario.

Cio che e in definitiva distintivo di Race After Technology e che le sue critiche appassionanti del presente sono cosi galvanizzanti. Il campo delle mappe di Benjamin e infido e fantasma, pieno di ostacoli e fili di inciampo la cui forza sta nella loro invisibilita. Ma ogni volta che fa leva su una scatola nera, collegando il presente a un passato orribile, il futuro sembra piu aperto, piu mutevole. Anche come categoria, la tecnologia e ugualmente mutevole, offrendo agli attivisti e agli utenti che hanno lottato per riparare i sistemi rotti nuovi modi di capire come si manifesta la discriminazione. Questa e forse la piu grande impresa di Benjamin nel libro: le sue analisi inventive e ad ampio raggio ci ricordano che per quanto cerchiamo di eliminare i nostri strumenti e di vederli come esterni ai nostri difetti, sono sempre estensioni di noi. Per quanto esigente sia una visione del mondo, e anche inclusivo e pieno di speranza.

Ricerche correlate a Race After Technology: ruha benjamin, tecnologie di disuguaglianza razziale, race after technology.

L'articolo pubblicato su Notizie Inn in data 04 luglio 2020, da Marco Tempesta.