Se si digitava: Parigi- Francia + Italia,
si otteneva Roma.
E se si digitava: re – uomo + donna,
si otteneva regina.
Menu
Blog menù
Contattaci
di Giulia Nocchi e Federico Teotini
Parlare di scienze sociali e di tecnologia sembra quasi un ossimoro, ma quando si ha la fortuna di partecipare ad un seminario dal titolo “L’intelligenza artificiale discrimina? Decisioni degli algoritmi e pregiudizi di genere” ci si rende conto che i due argomenti hanno più intersezioni di quanto possa sembrare in apparenza.
L’AI, infatti, è sicuramente uno dei trend topic del momento; dei suoi svariati utilizzi e benefici in termini di business abbiamo già avuto modo di parlare.
Ma quali sono i risvolti etici che spesso non vengono messi in conto di questa nuova tecnologia?
La professoressa Daniela Tafani, docente dell’Università di Pisa nel Dipartimento di Scienze Politiche, relatrice di questo incontro, mette in evidenza, infatti, quanto la discriminazione e i pregiudizi di genere (ma non solo) siano purtroppo troppo spesso insiti in queste nuove tecnologie.
Per analizzare e mettere in discussione qualcosa, il requisito fondamentale è conoscerla e comprendere al meglio il suo funzionamento. In questo caso, può sorgere spontaneo chiedersi come una “macchina” o un “device” possano discriminare. Anzi, a primo impatto dovremmo presumere che proprio il loro esser lontani dalla coscienza e dagli impulsi umani dovrebbe metterli a riparo da stereotipi e pensieri prettamente soggettivi, tipici un dato contesto socio-culturale.
Ma è proprio qui che si rischia di cadere nell’errore, se non ci è chiaro come vengano addestrati i modelli di Intelligenza Artificiale, ovvero come un software riesca a imparare.
In generale, per noi esseri viventi, imparare significa riuscire a ricavare (e in seguito ricordare) informazioni utili a partire da tutte le esperienze che viviamo, siano esse dirette o indirette. Pensiamo ad un bambino per esempio: come fa a imparare che non deve prendere in mano una caffettiera bollente? Sicuramente i genitori gli hanno spiegato più volte che le cose bollenti fanno male e che la caffettiera appena fatta è bollente (esperienza indiretta); se il bambino è avventuroso magari ha preso in mano la caffettiera bollente e si è bruciato (esperienza diretta).
I modelli di AI sono costruiti in modo da imparare dalle esperienze indirette che gli forniamo, ovvero i dati; si può dire che gli ingegneri facciano la parte dei genitori dell’esempio precedente.
L’addestramento di questi modelli può essere svolto seguendo diversi metodi, ma soffermiamoci sui due maggiormente usati:
Questo ci fa capire che i modelli di AI imparano in base alle informazioni che gli forniamo: come un bambino imparerà ad essere una persona intollerante o violenta in base a alcune esperienze che vivrà/vedrà/sentirà, così un modello discriminerà se i dati usati per addestrarlo presentano caratteristiche tali da indurlo a imparare a farlo (per esempio immagini in cui appaiono pe la maggior parte volti caucasici, o curricola con una minoranza femminile, etc.)
Disclaimer: l’esempio dell’apprendimento del bambino non è che puramente metaforico ed evocativo, è importante sottolineare che la calibrazione statistica dei sistemi di machine learning (che identificano correlazioni e mai nessi causali) non è ovviamente analoga all’apprendimento dell’essere umano, che è incorporato, situato nel mondo e sempre emotivamente connotato.
Il piccolo cappello introduttivo sulle dinamiche di funzionamento di questa tecnologia ci porterà a comprendere meglio alcuni esempi che sono stati esposti dalla Professoressa Tafani durante il seminario. Abbiamo raccolto quelli a nostro avviso più significativi.
Anche nell’Olimpo dei grandi colossi ci sono problemi; in questo caso, il Re degli e-commerce, Amazon, intendeva adottare le più moderne e sofisticate tecnologie per assumere nuovi dipendenti.
Ha quindi provato ad affidare ad uno strumento sperimentale di apprendimento automatico questo delicato compito, confidando nella sua assoluta equità e capacità di inclusione.
Il sistema infatti scannerizzava centinaia di curriculum e li classificava con un sistema di punteggi che si basavano sul riscontrare similitudini – usando un modello di rappresentazione delle parole – con i profili dei dipendenti già assunti.
Il gruppo di lavoro che si occupava del progetto ha creato 500 modelli computerizzati incentrati su funzioni e luoghi di lavoro specifici, ed hanno insegnato a ciascuno a riconoscere circa 50.000 termini che sono comparsi nei curriculum dei candidati passati.
A solo un anno dall’inizio del progetto, sono iniziate ad emergere le prime criticità.
Il modello, infatti, assegnava un punteggio negativo alla parola “femminile” penalizzando i curriculum che includevano tale parola, come in “capitano del club di scacchi femminile” o “college femminile”.
Perché questo accadeva? Non era altro che lo specchio delle dinamiche lavorative della società, ovvero la maggior parte degli Ingegneri e dei ruoli apicali erano svolti da uomini. Il sistema, quindi, discriminava perché trovava più corrispondenze con i candidati che si descrivevano usando termini che si trovano più comunemente nel curriculum di candidati di sesso maschile.
Il progetto, non riuscendo a trovare soluzioni concrete al problema, è stato interrotto ed Amazon ha rassicurato che nessun* candidat* è mai stato veramente scelto basandosi su questo “modello sperimentale”
Fonte – https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
Word2vec è un modello addestrato seguendo il metodo non supervisionato, il cui obbiettivo è generare un vettore per ogni parola contenuta in un corpus testuale di input. Ogni vettore contiene non solo informazioni sulla singola parola che rappresenta, ma anche sul contesto e sulle parole circostanti.
Avendo dei vettori che rappresentano parole, è possibile applicare delle operazioni matematiche alle parole stesse. Questo ha permesso di fare delle analisi interessanti, per esempio:
Fino a qui tutto lineare ma ad un certo punto qualcosa è andato decisamente storto:
Il problema è molto più complesso di quanto crediamo e ci interroghiamo tutt’ora su come poter rendere il sistema più inclusivo.
Potrebbe essere banalmente rimosso l’attributo protetto (in questo caso specifico quello di genere), ma questa non sembra essere la strada.
Infatti, essendo un modello basato sull’apprendimento non supervisionato, gli ingegneri non hanno controllo diretto su ciò che apprende un modello di questo tipo. Rimuovere l’attributo in questione potrebbe non essere sufficiente, poiché il modello potrebbe arrivare lo stesso alle solite conclusioni passando per “strade” diverse.
La professoressa Tafani ha infatti illustrato, con un aneddoto molto evocativo, come l’algoritmo avrebbe trovato il modo di adattarsi e avrebbe trovato altri dettagli per risalire al genere.
Si dice infatti che il “sistema senta le scarpe”, in memoria dell’iniziativa dalla Boston Symphony Orchestra, che negli anni 50 per evitare discriminazioni, introdusse durante i colloqui per selezionare i suoi musicisti, uno schermo tra il candidato e la commissione giudicatrice.
Ma aver il senso della vista inibito non fece che acuire quello dell’udito. La commissione riusciva infatti a distinguere il genere dei e delle candidate dal rumore dei loro tacchi. Un tappeto o una moquette sono stati sufficienti per superare anche questo bias, facendo sì che con il tempo questo sistema si estendesse anche ad altre compagnie e si arrivasse a raggiungere anche il 20%-30% di donne a fine anni Novanta.
La cosa preoccupante è che da quegli anni ’50 siamo stati in grado di sviluppare le più sofisticate ed avanguardistiche tecnologie, ma non la parità di genere, che conserva ancora le stesse difficoltà nell’affermarsi ed il medesimo soffitto di cristallo.
Fonte –
https://code.google.com/archive/p/word2vec/
Brian Christian, The alignment problem. Machine Learning and Human Values, Norton, 2020
La violenza simbolica, secondo Bourdieu, uno dei più noti sociologi che hanno a lungo condotto studi di genere e sul dominio maschile, deve la sua forza distruttiva proprio al fatto che non venendo immediatamente riconosciuta continua a dilagare indisturbata.
Con questo incipit ci colleghiamo ad un’altra deriva errata riscontrata in sistemi di intelligenza artificiale.
UnWoman, un’organizzazione per i diritti e l’inclusione, tramite un’indagine condotta nel 2013 dal suo team, ha potuto verificare come i suggerimenti degli algoritmi per il completamento automatico dei motori di ricerca fossero a dir poco sconvolgenti.
La campagna di sensibilizzazione è stata di grande impatto ed ha aperto un vaso di pandora che non poteva più esser ignorato.
Fonte- https://www.unwomen.org/en/news/stories/2013/10/women-should-ads
Tutti questi esempi cosa vogliono dimostrare? Di che cosa ci parlano questi fenomeni?
Niente di nuovo, purtroppo, ma mettono ancora una volta in risalto quanto immenso lavoro ci sia da fare per raggiungere una vera parità di diritto, per abbattere quei pregiudizi che sono talmente insiti ed interiorizzati nella nostra società da sorprenderci per quanto siano potenti e deleteri.
L’Intelligenza artificiale, infatti, non è che una lente d’ingrandimento sulle iniquità che ci circondano. Non sono gli algoritmi a discriminare, ma siamo noi a nutrirli con set di dati che, riflettendo la situazione esistente in molteplici realtà, rappresentano un mondo in cui la discriminazione è ancora diffusa.
Una frase che la scrittrice Elena Ferrante (ormai agli onori della cronaca per la serie tv tratta dai suoi romanzi) fa pronunciare in toni amari ad una delle sue protagoniste, recita:
“IL FUTURO, DA UN CERTO PUNTO IN POI, È SOLO NECESSITA’ DI VIVERE AL PASSATO”
Questo è proprio ciò che dovremmo evitare di fare, usare la tecnologia come una iterazione infinita di processi e modi di concepire il mondo ormai superati.
L’AI dovrebbe aiutarci ad indagare il passato per predire il futuro, ma senza istituire una norma per guidare quest’ultimo, perché in tal caso accetteremmo che il domani debba essere sempre uguale a ieri.
La tecnologia invece dovrebbe avere il compito virtuoso di aiutarci a cambiare ed evolvere.
Per uscire da questi circoli viziosi in cui possono incorrere gli strumenti di machine learning, ai e tecnologie avanzate, cosa potremmo fare?
Tecnologicamente parlando, la comunità scientifica si sta concentrando sull’interpretabilità dei risultati, ovvero sul capire come mai il modello restituisca un certo output. Infatti, al momento, questi modelli non sono altro che delle “black box” a cui forniamo un input e che ci restituiscono un output, ma non sappiamo esattamente quali siano i passaggi interni che hanno portato proprio a QUELL’output; in pratica non sappiamo seguirne il ragionamento, anche se sappiamo che è corretto. Risolvere questa sfida porterà sicuramente a nuovi metodi, che cambieranno il modo in cui viene sviluppata l’AI e quindi anche a soluzioni scientifiche per tutti i modelli che presentano “comportamenti” discriminatori.
Nel frattempo, è indispensabile seguire alcune accortezze che sono state suggerite durante il seminario.
In primis, formando professioniste e professionisti anche sull’etica del processo, sarà per loro più immediato comprendere i limiti dei dati e maneggiarli quindi con cura e consapevolezza, con l’obiettivo finale di scremare i pregiudizi dai dati.
Quest’ultima specifica è ottenibile in diversi modi, tra i quali, la creazione di un sistema che controlli il primo o il sovra campionamento delle classi minoritarie.
Infinte ultimo, ma non per importanza; l’introduzione di procedure che regolamentino i processi di verifica, validazione e certificazione, può dare una maggior garanzia di correttezza.
Stanno inoltre affermandosi linee guida etiche e standard da rispettare grazie ai quali potremo in parte metterci a riparo dagli aspetti controversi di cui abbiamo discusso.
E’ importante sottolineare che l’efficacia di queste ultime misure sarà effettiva solo grazie all’impegno delle aziende nell’attenersi a queste direttive.