Qualcuno ci osserva. E l’avvertimento è quello del Dipartimento della Polizia di Chicago. Nello specifico, la polizia si riserva di controllare una lista di oltre 400 persone a rischio di commettere qualche crimine. Tale inconsueta lista di nomi da non perdere di vista è stata creata in base ad un algoritmo predittivo che si è concentrato su fattori tra i quali “le conoscenze ed eventuali precedenti arresti e se questi soggetti siano già stati coinvolti in fatti di cronaca in passato“.
Algoritmi come questo, ovviamente, sollevano alcune domande scomode. Che è lecito porsi. Chi viene ad essere catalogato in questa lista e perché? Vengono presi in considerazione anche fattori come razza, sesso, istruzione? C’è il rischio che un lista del genere si basi troppo su un algoritmo che prende sproporzionatamente a bersaglio persone di colore o di altre razze?
Ad ogni modo, oggi gli algoritmi la fanno da padroni. Sebbene spesso additati, ci si affida sempre di più al giudizio (quasi insindacabile) delle macchine. La domanda è: può un algoritmo, in base a fattori come razza, religione, sesso, età, orientamento sessuale, stato di salute e molto altro ancora predire la condotta negativa di un individuo? Secondo alcuni, il giudizio umano può incappare nell’errore di “essere di parte”. Finendo con l’essere decisamente poco obiettivo in fase di giudizio, magari davanti ad un ipotetico criminale, che sia esso bianco o nero, cristiano o musulmano.
Opinioni discordanti
Le persone non sono oggettivamente d’accordo rispetto a come un altro individuo appare. La razza è un costrutto sociale, basata su un mix di tratti sia mutabili che immutabili, tra cui il colore della pelle, la religione, lo status e il cibo di cui si nutre. Di conseguenza, la definizione di chi rientra in una categoria razziale varia nel tempo. Questa incapacità di definire con precisione un concetto come la razza rappresenta, dunque, un rischio per l’analisi personale.
Ecco perchè si rendono necessarie le cosiddette Machine Learning, ovvero quelle basate su appositi programmi sviluppati per prevedere e visualizzare le categorie razziali. Quindi, si sviluppa un algoritmo sulla base delle categorie conosciute, acquisite grazie ai “test di comune conoscenza”. Un esempio: alcuni brasiliani considerati “bianchi” nel loro paese verrebbero definiti “neri” negli Stati Uniti. Ancora: gli americani appartenenti a due categorie razziali o gli individui provenienti da paesi come l’India, la Turchia e l’Israele spesso sfidano proprio queste categorizzazioni razziali. L’algoritmo sarà quindi necessariamente utile a livello operativo per evitare pregiudizi. Il tutto si traduce in un programma di apprendimento automatico che definisce la razza non necessariamente nel modo in cui gli individui si riconoscono. Un’utilità necessaria nel conflitto in sede di giudizio, come nel caso della Polizia di Chicago, ma anche nell’utilizzo di dati in settori come quello del marketing e della ricerca delle scienze sociali.
Qualche dubbio
Ogni individuo è multiforme e complesso e, raramente, rientra esattamente nei gruppi delineati da un algoritmo freddo e irrazionale. Tuttavia, secondo quanto sostengono i sostenitori del programma, quando le previsioni a livello individuale sono aggregate e definiscono un “gruppo”, sono in grado di fornire una migliore comprensione dei gruppi di persone ed aiutarci a identificare le disparità.
Alla luce di tutto ciò, dunque, bussare alle porte dei potenziali criminali può sembrare sbagliato? Con l’algoritmo del Chicago PD è possibile generare una “mappa di calore” in base alle posizioni delle popolazioni e delle attività ad alto rischio. Los Angeles, Atlanta, Santa Cruz e molte altre giurisdizioni stanno già utilizzando uno strumento di polizia predittiva chiamato PredPol. Questo permette ai diversi dipartimenti di polizia americana di aumentare la propria presenza nelle aree a rischio di criminalità, al momento giusto e senza l’uso di dati personali.
Parlare di pregiudizio è scomodo, ma non è il caso di trascurarlo. Per evitare di cadere in facili e inopportuni stereotipi o violare i diritti personali, infatti, sarebbe il caso di soffermarci sui pericoli che ciò potrebbe comportare e a come un algoritmo di apprendimento automatico mira a identificare e classificare le persone.