Intelligenza artificiale, chi è responsabile di decisioni ingiuste? Il nuovo AI Act

Nelle amministrazioni pubbliche di tutta Europa, i sistemi di intelligenza artificiale (IA) e di decisione automatizzata (ADM) vengono già utilizzati. Ma chi paga in caso di decisioni sbagliate? In America qualche situazione ingiusta si è già verificata e l’Europa è già corsa ai ripari. Il tema è stato indagato in un articolo scientifico da Philip Di Salvo e Antje Scharenberg della University of St.Gallen.

 Per esempio, questi sistemi, spesso basati su algoritmi “black box”, possono riconoscere i volti in pubblico. Hanno anche il compito di prevedere il comportamento umano e prendere decisioni, anche in settori sensibili come il welfare, la salute e i servizi sociali. Negli Stati Uniti la polizia ha già adottato questi algoritmi, tuttavia le decisioni sono influenzate da pregiudizi ed errori sottostanti, con conseguenze disastrose. In Michigan, nel giugno 2020, un uomo di colore è stato arrestato, interrogato e trattenuto durante la notte per un crimine che non aveva commesso. Era stato identificato per errore da un sistema di intelligenza artificiale.

Questi sistemi sono addestrati su dati preesistenti creati dall’uomo, che sono difettosi per loro natura. Ciò significa che possono perpetuare forme di discriminazione e pregiudizio, portando a ciò che Virginia Eubanks ha definito “l’automazione dell’ineguaglianza”.

Intelligenza artificiale e responsabilità

L’ampia adozione di questi sistemi pone la domanda su chi sia responsabile delle decisioni dell’algoritmo. In Canada, di recente i tribunali hanno ordinato a una compagnia aerea di pagare un risarcimento a un cliente che aveva agito su un cattivo consiglio dato dal loro chatbot alimentato da intelligenza artificiale. La compagnia aerea ha cercato di respingere la richiesta affermando che il chatbot era “responsabile delle sue azioni”.

In Europa, c’è stato un movimento istituzionale per regolamentare l’uso dell’IA, sotto forma del recente Artificial Intelligence Act. Questo atto appena approvato mira a regolare i grandi e potenti sistemi di IA, impedendo loro di rappresentare minacce sistemiche e proteggendo al contempo i cittadini dal loro potenziale abuso. Il lancio dell’Atto è stato accompagnato da azioni dirette, iniziative e campagne lanciate da organizzazioni della società civile nei vari Stati membri dell’UE.

Il nuovo report sull’Intelligenza Artificiale

Un ultimo report di ricerca si intitola Civil Society’s Struggle Against Algorithmic Injustice in Europe. Lo hanno realizzato degli scienziati della University of St.Gallen. Si basa su interviste ed esplora come le organizzazioni per i diritti digitali e la data justice definiscono gli errori dell’AI e come mettano in discussione l’uso di questi sistemi.

La ricerca ha rivelato un panorama complessivo di preoccupazione, poiché l’intelligenza artificiale può spesso essere razzista, discriminatoria e riduttiva quando si tratta di dare un senso agli esseri umani e analizzarne i comportamenti. Inoltre gli errori dell’AI non sono un problema tecnologico, ma sintomi di questioni sociali sistemiche più ampie che precedono gli sviluppi tecnologici recenti. Possono perpetuare forme esistenti di discriminazione su base etnica, spesso portando alla profilazione razziale e persino ad arresti illegali.

Come parte del dell’Università di San Gallo in Svizzera, sono stati studiato i modi in cui attori della società civile stanno resistendo alla crescita della discriminazione automatizzata in Europa. Il progetto si concentra sugli errori dell’IA, un termine ombrello che comprende pregiudizi, discriminazione e mancanza di responsabilità degli algoritmi e dell’IA. Poiché questi sistemi si basano su dati della polizia preesistenti, potenzialmente falsificati o corrotti, perpetuano forme esistenti di discriminazione razziale, spesso portando al profilazione razziale e persino agli arresti illegali.

AI sta già influenzando la vita quotidiana

Per gli esperti un problema chiave è la mancanza di consapevolezza tra il pubblico di come l’IA venga utilizzata per prendere decisioni in numerosi settori della loro vita. Spesso le persone non sanno come funzionino questi sistemi o chi dovrebbe essere ritenuto responsabile quando prendono una decisione ingiusta. Significa che la lotta per la giustizia dell’algoritmo non è solo una questione politica, ma anche simbolica: mette in discussione le idee di obiettività e accuratezza umane.

Le organizzazioni della società civile europea sono costrette a perseguire due obiettivi: parlare chiaramente del problema e mettere in discussione la visione dell’IA come panacea per i problemi sociali.

L’importanza di nominare il problema è evidente nel nuovo rapporto, dove gli intervistati erano riluttanti persino a usare frasi come “Etica dell’IA” o non menzionavano affatto “IA”. Invece, hanno usato termini alternativi come “statistiche avanzate”, “Decisioni Automatizzate” o “sistemi ADM”.

Contenere i giganti della tecnologia

Oltre a sensibilizzare il pubblico in generale, una delle principali questioni è limitare il potere dominante dei giganti della tecnologia. Diverse organizzazioni sono state coinvolte in iniziative legate all’AI Act dell’UE per mettere in luce problemi e chiudere falle. Secondo alcune organizzazioni, ci sono elementi, come il riconoscimento facciale biometrico negli spazi pubblici, dove nulla meno di un divieto assoluto sarà sufficiente. Altre assumono addirittura una visione scettica della legislazione nel suo complesso, ritenendo che la regolamentazione da sola non possa risolvere tutti i problemi presentati dalla continua diffusione dei sistemi algoritmici.

La ricerca mostra che, per affrontare il potere dei sistemi algoritmici, passa dallo smettere di considerare l’errore dell’IA come un problema tecnologico e iniziare a vederlo come un problema politico. Quello che deve essere risolto non è un difetto tecnologico nel sistema, ma le disuguaglianze sistemiche che questi sistemi perpetuano.

In conclusione, la lotta contro la discriminazione automatizzata è in corso. I sistemi di intelligenza artificiale e di decisione automatizzata continuano a penetrare sempre più nella vita quotidiana. Solo attraverso un impegno collettivo e una vigilanza costante si può sperare di mitigare gli effetti dannosi della discriminazione automatizzata e costruire un futuro più equo e inclusivo per tutti, concludono gli studiosi.