Cyber Discrimination: l’impatto dell’Intelligenza Artificiale sui diritti dei migranti

Approfondimento sulla c.d. Cyber Discrimination.

1. Cyber Discrimination: considerazioni generali

Viviamo ormai in un’era digitale in cui l’Intelligenza Artificiale (IA) sta rapidamente imponendosi con una forza tale da permeare ogni aspetto della nostra società.
Mentre i progressi in campo tecnologico promettono efficienza, convenienza ed innovazione, si pone sempre più chiaramente l’esigenza di affrontare le implicazioni che accompagnano l’implementazione di questa tecnologia.
Uno degli aspetti più critici e delicati riguarda l’eventualità di effetti discriminatori che l’IA può sviluppare nei confronti delle categorie più deboli ed in particolare in capo a stranieri e migranti.
L’utilizzo di algoritmi e tecnologie sempre più intelligenti nella gestione dei flussi migratori, nei processi decisionali amministrativi e nelle pratiche quotidiane contribuisce certamente a una maggiore concretezza, tuttavia, sorge spontanea la domanda: fino a che punto l’IA è realmente neutrale e imparziale? Esiste il rischio che, invece di eliminare i pregiudizi, tali sistemi perpetuino e addirittura amplifichino le discriminazioni già esistenti? Il tema assume particolare rilevanza in un contesto in cui la diversità culturale è una realtà sempre più evidente nelle nostre società.
A tal proposito, lo scorso 9 dicembre: Commissione, Consiglio e Parlamento europeo hanno votato il testo del c.d. “AI Act”; disciplina [1] che regolerà l’intelligenza artificiale in U.E. e che dovrebbe entrare in vigore nel 2026.
Per tale ragione, si rende necessaria una riflessione sull’applicazione dell’IA a strumenti, già di per sé, invasivi come le banche dati utilizzate per identificare le persone straniere, ciò potrebbe comportare, difatti, serie violazioni dei diritti umani.
Caso emblematico è quello dell’Afis; una banca dati istituita ed utilizzata dalle forze di Polizia a fini investigativi ma che al tempo stesso contiene una grandissima mole di dati personali e identificativi che riguardano gli stranieri i cui dati biometrici sono registrati a scopo amministrativo ma che in teoria potrebbero essere anche utilizzati per altri fini e con risvolti potenzialmente discriminatori.   
Uno dei processi più delicati riguarda il c.d. machine learning; processo di automazione mediante il quale un algoritmo per mezzo di c.d training data (dati di allenamento), acquisisce capacità di osservazione, riproduzione, decisione, predizione ed inferenza. Un sistema di apprendimento autonomo che talvolta non necessita neppure dell’intervento di un operatore umano e che permette al sistema informatico di lavorare ed apprendere in modo indipendente.
Come noto, gli algoritmi processano una grandissima mole di informazioni, dati sensibili e personali degli individui e sono in grado persino di tracciare un profilo degli stessi analizzando le loro abitudini.
Tale meccanismo descrive l’insieme di una serie di attività di raccolta ed elaborazione di dati sulla base di parametri preordinati, inerenti ai soggetti profilati che vengono dunque, catalogati e classificati a seconda del loro comportamento (segmentazione).
Le informazioni raccolte vengono, dunque, rielaborate dall’intelligenza artificiale che mediante l’utilizzo di alcuni parametri, peraltro non sempre molto chiari, suggerisce eventuali comportamenti futuri dell’utente (predittività).
L’algoritmo, tuttavia, non è esente da imprecisioni o false rappresentazioni, pertanto, il risultato della predizione o della catalogazione potrebbe non coincidere con la realtà, dunque, in grado di ingenerare pesanti discriminazioni (bias).

2. Il caso “Compass”

Il caso “State of Wisconsin vs. Eric L. Loomis”, ribattezzato caso Compass solleva importanti questioni circa l’utilizzo di algoritmi predittivi nei procedimenti giudiziari [2]. La questione ha ad oggetto una sentenza del 2016 [3], in cui la Corte Suprema del Wisconsin (USA), ha deciso sull’appello del sig. Eric L. Loomis, condannato a sei anni di reclusione dal Tribunale circondariale della città di La Crosse (Wisconsin).
Nel computo della pena, i giudici hanno tenuto conto dei risultati elaborati dal software informatico di IA c.d. COMPAS (Correctional offender management profiling for alternative sanctions), secondo cui l’imputato doveva considerarsi un soggetto ad alto rischio di recidiva.
Nel 2013, Eric L. Loomis è stato arrestato in Wisconsin, USA, alla guida di un’auto coinvolta in una sparatoria. Accusato di cinque reati, ha accettato di patteggiare la pena.
La Corte ha disposto, quindi, un rapporto d’indagine (Presentence Investigation Report); valutazione dell’imputato elaborata dal software intelligente COMPAS.
L’algoritmo, attraverso l’analisi di diversi parametri, ritenuti dalla difesa di Loomis discriminatori e poco trasparenti (età, lavoro, vita sociale e relazionale, grado di istruzione, etnia ecc.), ha inserito l’imputato in una lista di soggetti (persone di colore soprattutto) ad alto rischio statistico di recidiva e pertanto ha classificato l’imputato come soggetto pericoloso.
L’algoritmo, tuttavia, non ha analizzato il rischio sotto il profilo di fattori comportamentali o relativi alla condotta dall’imputato ma ha fondato la previsione unicamente sul confronto di alcune caratteristiche personali di Loomis con quelle di un gruppo generalizzato di individui aventi caratteristiche di genere simili alle sue.
Per tale ragione, sulla scorta delle risultanze processuali e tenuto conto della predizione di Compass, il Tribunale circondariale nel determinare la pena ha deciso di non concedere la libertà vigilata a Loomis.
A questo punto i difensori dell’imputato hanno proposto ricorso avverso alla decisione alla Corte Suprema lamentando l’avvenuta violazione del diritto dell’imputato ad avere un equo processo.
Secondo i difensori di Loomis, la pena irrogata sarebbe frutto: 1) di informazioni non accurate e comunque non completamente ostensibili, inquanto, i processi che regolano il funzionamento dell’algoritmo sono coperti da segreto industriale; 2) di un risultato basato solamente su inferenze statistiche prodotte dall’algoritmo; 3) di un utilizzo improprio e probabilmente discriminatorio del dato di genere. 
La Corte Suprema del Wisconsin, tuttavia, pur confermando la correttezza del processo di primo grado e della relativa sentenza di condanna, ha stabilito quale debba essere il corretto utilizzo degli strumenti di IA in ambito giudiziario.
In primo luogo, la Corte ha statuito che, sebbene, l’IA possa essere utilizzata nei processi di determinazione della pena, questa, deve essere sempre impiegata con molta precauzione. Per tale ragione, ha indicato che i punteggi di rischio elaborati dal software non possono essere usati da soli quali elementi decisivi.
In secondo luogo, i Giudici hanno osservato che, sebbene il progresso tecnologico offra opportunità per migliorare l’efficienza giudiziaria è, tuttavia, fondamentale bilanciare tali vantaggi con la protezione dei diritti fondamentali degli individui ed a tal fine evitare possibili discriminazioni.A tal proposito, la Corte ha anche precisato che per garantire un certo grado di accuratezza del sistema, il software deve essere costantemente monitorato ed aggiornato sulla base dei cambiamenti sociali evitando così il rischio che l’IA possa sovrastimare alcuni fattori di pericolo contenuti nell’algoritmo come ad esempio la provenienza familiare, il livello di istruzione, l’appartenenza ad un dato gruppo etnico, ecc.Il software, infatti, se da un lato è in grado di individuare gruppi di soggetti ad alto rischio di recidiva dall’altro non può predire il comportamento di un solo individuo.
Per tale ragione vi è il pericolo che un soggetto anche incensurato possa essere bollato dal sistema come pericoloso sulla scorta della propria condizione sociale o di altri elementi di genere; generando, dunque, discriminazioni.
A tal proposito, la Corte ha esortato i Giudici di primo grado ad esercitare la propria discrezionalità decidendo caso per caso ed ha precisato che gli algoritmi devono essere utilizzati come strumenti di ausilio e non di decisione.
Il caso in esame, tuttavia, solleva ulteriori preoccupazioni circa la trasparenza e l’accessibilità dei processi che regolano il funzionamento dell’algoritmo medesimo.
La mancanza di trasparenza sulle metodologie di analisi utilizzate da Compass per la catalogazione dei soggetti a rischio, nonché, la difficoltà lamentate della difesa ad analizzare accuratamente i dati ivi contenuti sollevano seri dubbi circa un corretto esercizio del diritto di difesa da parte dell’imputato evidenziando, pertanto, la necessità di una maggiore trasparenza nei processi che regolano il funzionamento dell’IA.
Per le ragioni sin qui esposte, la Corte Suprema ha esortato ad utilizzare in modo sempre più responsabile l’IA, così da allontanare il pericolo di eventuali violazioni dei diritti umani.
La sfida per il futuro sarà, dunque, trovare il giusto equilibrio tra l’innovazione tecnologica e salvaguardia dei principi fondamentali di giustizia ed equità.

3. Le implicazioni securitarie

La questione più delicata è rappresentata dalle conseguenze dall’applicazione dell’IA nel settore della sicurezza.
Molti Stati hanno adottato algoritmi per supportare i processi decisionali dei servizi pubblici; in Italia il redditometro rappresenta uno tra i primi esempi di tale attività.
Il redditometro è uno strumento informatico di accertamento sintetico utilizzato dall’Agenzia delle Entrate per risalire al reddito di un soggetto. Per mezzo dell’intelligenza artificiale, il software partendo dall’analisi della capacità di spesa compara i flussi economici in uscita con i redditi dichiarati dal contribuente confrontando la congruenza tra i dati.
In modo analogo, altri sistemi di IA operano attualmente in diversi settori della pubblica amministrazione: sanità, istruzione, sicurezza ecc.
Tali sistemi sono utilizzati per prevedere, classificare e ottimizzare le decisioni nonché per l’attuazione delle politiche sociali ed economiche incidendo, al tempo stesso, anche sulle libertà, sui diritti e le opportunità delle persone.
Uno dei problemi relativi all’utilizzo di questa tecnologia sta nel fatto che gli algoritmi vengono adottati spesso all’insaputa dell’utente che, pertanto, non è consapevole dei processi di automazione cui è sottoposto.
L’asimmetria informativa è ancor più evidente e problematica quando l’IA viene applicata al settore della sicurezza.
In questo ultimo caso si riscontrano non pochi effetti negativi che incidono soprattutto sui soggetti più deboli come stranieri e migranti.
A tal proposito si pensi a quanto accaduto tra il 2014 e il 2020, nei Paesi Bassi, dove, il Governo ha adottato un sistema di IA denominato SyRI [4], utilizzato per identificare casi indebita percezione di benefici fiscali. L’algoritmo ha segnalato circa 20.000 soggetti,  in maggioranza cittadini stranieri residenti nei Paesi Bassi. L’IA, sulla base della profilazione dei dati compilati dai contribuenti nelle dichiarazioni dei redditi registrate nel sistema SyRI (Systeem Risico Indicatie), ha tracciato una lista di possibili evasori, giustificando in tal modo controlli più approfonditi. I contribuenti soggetti ad indagine erano cittadini perlopiù di origine nordafricana; essi sono stati profilati ed inseriti automaticamente a loro insaputa nelle liste di controllo.
Tali fatti hanno suscitato pesanti critiche, sia nell’opinione pubblica che negli organi di stampa ed hanno stimolato persino l’intervento delle Nazioni Unite, le quali, hanno denunciato numerose discriminazioni e violazioni della privacy subite dai cittadini stranieri residenti nei Paesi Bassi ad opera del governo olandese.
Per tali motivi, il 5 febbraio 2020 il tribunale distrettuale dell’Aia [5], chiamato a pronunciarsi sull’accaduto ha vietato l’utilizzo di SyRI riscontrando, effettivamente, l’avvenuta violazione dell’art. 8 della CEDU; tutela del diritto al rispetto della vita privata e familiare.  
Ebbene, per quanto riguarda il settore della sicurezza in tutta Europa ormai da tempo sistemi di video sorveglianza sono utilizzati per il contrasto al terrorismo e alla criminalità organizzata, tuttavia, in alcuni casi tali strumenti si sono trasformati in dispositivi di tracciamento e identificazione di persone straniere, più inclini secondo alcuni a commettere reati (crimmigration) [6].
Attualmente le tecnologie più invasive che utilizzano l’IA sono: il riconoscimento facciale biometrico e i sistemi di Polizia predittiva.
Il riconoscimento facciale è un sistema di IA in grado di identificare le persone sulla base di caratteristiche fisiche o comportamentali; i soggetti possono essere, dunque, tracciati attraverso l’utilizzo dei propri dati biometrici.
I sistemi di Polizia predittiva sono, invece, strumenti di sorveglianza di massa che utilizzano algoritmi in grado di prevedere, in termini statistici, la probabilità che venga commesso un reato, da chi possa essere commesso o in che luogo.
Il nostro Paese non è esente dall’utilizzo di queste tecnologie e di recente sono state segnalate criticità rispetto all’utilizzo del sistema c.d. SARI, il quale, secondo molti, sarebbe in grado di violare i diritti umani.
Il Sistema SARI (Sistema Automatico di Riconoscimento Immagini) è un sistema informatico intelligente in uso alle forze di Polizia italiane, originariamente utilizzato per contrastare il terrorismo e la criminalità organizzata.
Nonostante l’utilizzo di SARI abbia portato numerosi benefici circa le tempistiche di identificazione dei criminali, il suo funzionamento è stato ed è attualmente oggetto di pesanti critiche; ciò è dovuto alla poca trasparenza dei processi che ne regolano il funzionamento.
Il SARI è un sistema in uso alle forze di Polizia dal 2017 che permette di confrontare le immagini riprese da videocamere di sorveglianza anche in tempo reale con le immagini contenute nella Banca Dati A.F.I.S. (Sistema Automatizzato di Identificazione delle Impronte). Quest’ultima, consente di codificare le impronte digitali in c.d. minutiae, ovvero, quelle linee caratteristiche delle impronte digitali appartenenti ad ogni persona permettendo di raffrontarle con le informazioni contenute nel Casellario Centrale.
In quest’ultimo data base sono contenute: immagini delle impronte digitali, fotografie, dati anagrafici e biometrici di tutti i soggetti che vengono sottoposti a rilievi.
In passato, le forze di Polizia utilizzavano le banche dati biometriche per trovare corrispondenze, inserendo manualmente questi parametri (colore degli occhi, dei capelli, la carnagione ecc.). Tali risultati erano poi sottoposti ad una verifica manuale.
Per velocizzare il processo di identificazione, è stato adottato il SARI nella sua funzione c.d. “Enterprise”. Tale funzione automatizza alcune operazioni che prima necessitavano dell’intervento umano.
Ciò permette di elaborare ricerche nel database dei soggetti segnalati, inserendo un’immagine fotografica. L’immagine è, dunque, elaborata automaticamente dall’algoritmo.
Di recente l’intervento del Garante della privacy ha ritenuto che il SARI, nella sua funzione c.d. “Enterprise”, non esponga i soggetti sottoposti a controllo a particolari pericoli; questa funzione rappresenterebbe una nuova modalità di trattamento in grado di velocizzare l’identificazione da parte dell’operatore di Polizia di un soggetto ricercato.
Il SARI, tuttavia, possiede una ulteriore funzione c.d. “Real Time”, il cui compito è quello di confrontare in tempo reale i volti catturati dalle videocamere presenti su tutto il territorio nazionale e nel momento in cui viene rilevata una corrispondenza il sistema emana automaticamente un avviso.
Tale funzione, se da un lato è in grado di migliorare il controllo del territorio, dall’altro è potenzialmente pericolosa e solleva diverse perplessità circa possibili violazioni dei diritti costituzionali derivanti da un’eventuale utilizzo su larga scala.
In origine il sistema SARI nella funzione Enterprise avrebbe dovuto utilizzare le immagini nel database AFIS contenente circa 10 milioni di immagini, tuttavia, attualmente, secondo alcuni, le immagini effettivamente utilizzate dal database AFIS sarebbero oltre 16 milioni.
Numeri simili farebbero ipotizzare che il SARI attinga a dati contenuti in altri database, come ad esempio l’EURODAC; sistema contenente tutte le impronte digitali e dati biometrici dei richiedenti asilo e degli stranieri che vengono fotosegnalati all’interno dell’U.E. 
Tuttavia, questa, rappresenta solo una delle numerose ipotesi; secondo altri, infatti, la grande differenza tra i dati raffrontati potrebbe essere dovuta all’acquisizione di massa di immagini che corrono sulla rete o addirittura presenti sui social, come per altro è già accaduto negli Stati Uniti, dove, milioni di immagini di persone contenute all’interno dei social media sono state acquisite dall’IA governative.
Altri ancora ipotizzano, invece, che SARI sia in grado persino di attingere informazioni dal database dei dati afferenti al Sistema di Gestione dell’accoglienza (SGA), utilizzato per identificare i migranti.
La maggiore preoccupazione, come è intuibile, proviene dal sistema SARI in funzione Real Time. Il possibile utilizzo su vasta scala di una simile tecnologia solleva numerosi interrogativi legati a nuove forme di spionaggio [7], il sistema, difatti, è in grado di effettuare controlli di massa in tempo reale.
Ciò posto sebbene altri Paesi europei sembrano, ormai, aver rallentato l’implementazione di misure relative al riconoscimento facciale nei confronti dei migranti, l’Italia sembra invece volerle incrementare.
In conclusione, l’analisi sin qui condotta ha evidenziato diverse criticità circa l’utilizzo dell’Intelligenza Artificiale e sottolinea l’importanza del nuovo intervento normativo per proteggere i diritti degli individui, auspicando che l’AI Act possa colmare, finalmente, tale vuoto.
Ciononostante, è quantomai concreto il pericolo legato alla privacy e alla sicurezza dei dati personali, soprattutto considerando la grande quantità di informazioni trattate, necessarie per far funzionare correttamente l’IA. 
Vari studi [8] hanno evidenziato il rischio di decisioni ingiuste o discriminatorie da parte degli algoritmi, specialmente, se basate su dati errati o distorti, la mancanza di trasparenza circa i processi decisionali utilizzati dell’IA nonché nel controllo dell’algoritmo sollevano seri dubbi sulla compatibilità tra il loro utilizzo e il rispetto dei diritti costituzionali.
È lecito interrogarsi infine su cosa accadrebbe in situazioni di emergenza o di deriva autoritaria, ovvero, in situazioni nelle quali il controllo dei dati cadesse nelle mani di un soggetto non democratico o addirittura ostile.
Per questi motivi si sottolinea la necessità di un intervento legislativo serio che regoli l’utilizzo dell’IA e che garantisca la protezione dei diritti individuali.

Formazione per professionisti

Legal prompting: come utilizzare Chat GPT per l’attività giudiziale e stragiudiziale
Il corso si articola in due moduli, acquistabili anche separatamente, in cui vengono spiegati e mostrati i concreti utilizzi di CHAT GPT per il supporto al Professionista nell’attività giudiziale e stragiudiziale.
>>>Per info ed iscrizioni<<<

Vuoi ricevere aggiornamenti costanti?

Salva questa pagina nella tua Area riservata di Diritto.it e riceverai le notifiche per tutte le pubblicazioni in materia. Inoltre, con le nostre Newsletter riceverai settimanalmente tutte le novità normative e giurisprudenziali!

Note