L’AI c’ha il bias
[…] People do not follow the principles of probability theory in judging the likelihood of uncertain events. This conclusion is hardly surprising because many of the laws of chance are neither intuitively apparent, nor easy to apply. Less obvious, however, is the fact that the deviations of subjective from objective probability seem reliable, systematic, and difficult to eliminate. Apparently, people replace the laws of chance by heuristics, which sometimes yield reasonable estimates and quite often do not.
Subjective Probability: A Judgment of Representativeness
DANIEL KAHNEMAN AND AMOS TVERSKY
Quando si parla di intelligenza artificiale , uno dei temi più discussi è quello del bias. Il bias, tradotto in italiano in pregiudizio, è quella spiacevole situazione per cui chiedendo ad un modello di AI generativa di disegnare an engineer senza valenza di genere, è più probabile che il modello disegno a male engineer, piuttosto che un’ingegnera. È facile puntare il dito contro le macchine, accusandole di imparare dai dati sbagliati, ma ci dimentichiamo spesso che anche noi, in quanto esseri umani, usiamo gli stessi meccanismi per apprendere e prendere decisioni.
Pensieri veloci, troppo veloci
Lo psicologo Daniel Kahneman1 nel suo meraviglioso libro Pensieri Lenti e Veloci, descrive come il nostro cervello processa la realtà attraverso due sistemi di pensiero: uno veloce, intuitivo e impulsivo, e uno lento, riflessivo e razionale. Kahneman spiega che il primo sistema, quello veloce, è reattivo, sempre pronto a ricevere stimoli e elaborare la realtà in cerca di pericoli o opportunità – una tigre con i denti a sciabola, una preda da cacciare, un altro essere umano, cose che sono diverse dal normale scorrere degli eventi. Il suo compiti è tenerci al sicuro, possibilmente sazi e lontani da stranezze potenzialmente dannose. In questo turbinio di stimoli e rielaborazioni, il modo più semplice per sbagliare il meno possibile è affidarsi a scorciatoie mentali basate su esperienze passate, che però non sempre sono accurate o prive di pregiudizi. È attraverso il sistema veloce infatti che tendiamo a formare pregiudizi e stereotipi basati sul nostro vissuto, sul modo in cui ci hanno sempre raccontato le cose, o sulla normalità che come tale riconosciamo. LA cosa più incredibile è che questo sistema è a pilota automatico, per cui questi stereotipi e pregiudizi emergono in modo naturale, spesso senza accorgercene.
Quanto è probabile che cada quell’aereo?
Kahneman ci spiega il funzionamento dei due sistemi di pensiero con esempi concreti. Ad esempio, il bias di disponibilità ci porta a sovrastimare la probabilità di eventi di cui ricordiamo facilmente casi recenti o vividi, come temere di più un attacco terroristico rispetto a un incidente stradale, nonostante sia molto più probabile trovarsi nel mezzo di un incidente piuttosto che in un attacco terroristico. Un altro esempio è l’ancoraggio, , come quando un prezzo iniziale alto condiziona la nostra percezione del valore di un oggetto anche dopo uno sconto. L’abito non fa il monaco tranne che non è vero.
Questi meccanismi funzionano perché il nostro cervello è programmato per risparmiare energia e prendere decisioni rapide, usando scorciatoie mentali – nel saggio sono chiamate euristiche. Tuttavia, queste euristiche possono portare a errori sistematici: i bias sono insiti nel modo in cui noi umani processiamo le informazioni, e non possiamo farci molto.
L’AI che pensa come noi
Quindi questi meccanismi di pensiero veloce sono utili per prendere decisioni rapide, ma ci possono portare a errori sistematici nel nostro giudizio. La cosa affascinante è quanto i processi di apprendimento delle AI rispecchino quelli umani: i sistemi di AI, proprio come noi, imparano a partire dai dati che ricevono, replicando spesso i bias presenti nei dati stessi.
Proprio come il sistema veloce della mente umana, i sistemi di AI prendono decisioni basate sull’esperienza, ovvero dati utilizzati per l’apprendimento. Se questi dati presentano un pregiudizio intrinseco, l’AI replicherà questo pregiudizio: ad esempio, un modello di AI addestrato su dati storici di candidati assunti potrebbe imparare a discriminare inconsciamente alcune categorie di candidati, semplicemente ripetendo le tendenze del passato.
Lo specchio della società
L’AI replica i pregiudizi intrinseci presenti nei dataset di allenamento2, che sono costruiti da persone. Il problema è che come noi sovrastimiamo la probabilità che qualcosa accada se ne abbiamo fatto recente esperienza, anche l’AI sovrastima la probabilità che qualcosa accada se mediamente accade più spesso nel dataset. Niente di personale, è solo statistica. Ad esempio, se nel dataset di immagini di cani ho il 68% di cani dalmata, il modello potrebbe predire il 75% o l’80% delle volte la presenza di un dalmata in una foto, amplificando la rappresentatività di questa classe. Se al posto dei cani dalmata mettiamo casi di incarcerazione per persone di provenienze specifiche, tutto un tratto non stiamo più gestendo un problema di cagnolini scambiati per dalmata, ma un’emergenza etica in cui un modello ha una probabilità più alta di etichettare come colpevole una persona in base alla sua provenienza. Ops.
Vorrei mettere meme di politici che fanno cose a proposito della diversità e l’inclusione ma eviterò per non essere tacciata di favoritismi.
AH NO?
Questo tipo di amplificazione avviene perché i modelli discriminativi sfruttano ogni correlazione, anche sbagliata, per migliorare l’accuratezza delle loro previsioni. In pratica, il bias iniziale nei dati viene esagerato dal modello stesso, con conseguenze negative quando questi sistemi vengono utilizzati in contesti reali.
Way out
Per evitare che sia noi, esseri umani, sia le AI continuiamo a perpetuare gli stessi errori, serve impegnarsi in un percorso di allenamento costante verso la diversità e l’inclusività. Questo processo non è automatico, né per le macchine né per noi.
Per noi, significa innanzitutto esporci a contesti nuovi, entrare in contatto con persone che hanno storie di vita diverse dalle nostre, ed esplorare culture, lingue e modi di pensare che sfidano le nostre prospettive consolidate – un tema caldo e dibattuto negli splendenti anni 20. Uno dei primi passi per affrontare questo percorso è imparare a riconoscere i nostri pregiudizi: tutti ne abbiamo, chi pensa di non averne è solo così immerso nel suo contesto da non accorgersene. Spesso, senza rendercene conto, i nostri filtri invisibili del sistema veloce condizionano il nostro modo di pensare e agire. Questi bias possono influenzare sia il nostro giudizio sugli altri, sia la nostra capacità di comprendere il mondo nella sua complessità. Identificarli e metterli in discussione è difficilissimo, ma è un passo essenziale per costruire dataset rappresentativi – e magari un mondo più giusto.
Anche per le intelligenze artificiali, il problema dei bias è centrale. Le AI apprendono dai dati che vengono loro forniti e, se questi dati sono incompleti o parziali, rischiano di riprodurre gli stessi pregiudizi presenti nel mondo umano. Un sistema di intelligenza artificiale addestrato su dati discriminatori rischia di replicare e amplificare discriminazioni nella sua applicazione. Da qui l’importanza di creare set di dati inclusivi e diversificati che rappresentino al meglio la pluralità delle esperienze umane.
Dunque
Il problema del bias non è solo una questione tecnologica, ma un riflesso del nostro stesso modo di vedere il mondo. Siamo tutti soggetti a pregiudizi, e solo attraverso un impegno consapevole possiamo ridurre il loro impatto, sia nelle macchine che nei nostri comportamenti quotidiani. Educare noi stessi e le AI alla diversità e all’equità è il primo passo per costruire un futuro più giusto e inclusivo.
