Perché gli algoritmi hanno bisogno di una sorta di foglietto informativo

Gli algoritmi sono attualmente al centro di un dibattito che diventa particolarmente acceso quando si vanno a toccare considerazioni di natura etica. Lea Strohm è co-direttrice di ethix – laboratorio per l’etica dell’innovazione, che mette in luce gli aspetti etici cruciali della trasformazione digitale. Nell’intervista spiega perché i processi decisionali basati su algoritmi non sono mai obiettivi, cosa serve per rendere gli algoritmi più equi e perché gli utenti e le utenti finali dovrebbero essere maggiormente al centro dell’attenzione.

Lea Strohm, da un punto di vista etico, cosa è concesso agli algoritmi?

Lea Strohm:  Nel caso degli algoritmi non parlerei necessariamente di «concedere», perché secondo me la parola suggerisce che siano capaci di agire autonomamente, e non è così. Gli algoritmi fanno parte di un sistema generato da persone. Sono le persone a decidere sulle più svariate aree tematiche, su quali compiti vengono assegnati a un algoritmo e su come viene addestrato per svolgerli.

Esiste un numero infinito di algoritmi. Quali di essi hanno rilevanza dal punto di vista etico?

Strohm: Sono importanti soprattutto gli algoritmi che si riferiscono alle persone; la situazione diventa critica quando questi algoritmi prendono decisioni sulle persone. Vale a dire, quando è un computer a prendere una decisione che fino a quel momento veniva presa da persone. Qui si pone la questione degli effetti che ciò può avere sulla decisione e sul processo decisionale. Soprattutto all’inizio si pensava che il computer fosse più obiettivo delle persone perché non condizionato da simpatie, esperienze e pregiudizi personali, cosa che ovviamente non è vera.

Perché gli algoritmi non sono obiettivi?

Strohm: Gli algoritmi sono programmati da persone con il proprio corredo di valori e tali valori si riflettono a loro volta negli algoritmi. A ciò si aggiunge il fatto che i set di dati usati per addestrare gli algoritmi e i sistemi a prendere automaticamente delle decisioni spesso non sono privi di distorsioni, cosa che può portare alla discriminazione. Attualmente l’attenzione è concentrata su come impostare in modo più etico gli algoritmi a livello tecnico. Ma non dobbiamo però dimenticare che oggi ci sono ancora poche decisioni completamente automatizzate. Nella maggior parte dei casi gli algoritmi vengono utilizzati per aiutare le persone a prendere delle decisioni. Queste persone hanno a loro volta pregiudizi e valori. Perciò è importante che comprendano l’algoritmo e conoscano i suoi limiti, anche se spesso ciò non accade.

Può fare un esempio?

Strohm: In Germania, durante la crisi dei rifugiati c’erano dei funzionari dell’immigrazione che stabilivano l’accento di un profugo, da dove venisse e se dicesse o meno la verità solo in base a una registrazione della sua voce. Questo, insieme ad altri fattori, influenzava in positivo o in negativo la decisione di concedere l’asilo. In base alla registrazione, il computer emetteva un verdetto di probabilità, specificando ad esempio che la persona proveniva dalla Siria orientale con il 67,82 percento di probabilità. Questo numero suggeriva al personale che si trattasse di scienza esatta. Ma chi s’intende di calcoli di probabilità sa bene che tali dati si devono prendere in considerazione solo con riserva. I data scientist che hanno a che fare con questo materiale ogni giorno lo sanno, ma un impiegato o un’impiegata potrebbero non saperlo. Questo esempio dimostra che con gli algoritmi non è solo la tecnologia a essere un problema, ma anche come viene applicata e compresa.

Ma, visto il grado di complessità, come possiamo fare in modo che gli algoritmi agiscano in modo etico?

Strohm: Esistono dei criteri chiari alla base dello sviluppo degli algoritmi. Devono ad esempio essere conformi a determinati standard di qualità nella loro struttura ed essere di facile comprensione. Ma questa è soltanto una parte. La cosa importante è includere l’intero processo. Quindi, anche gli utenti e le utenti finali devono comprendere cosa possono fare un algoritmo o un’applicazione e quali sono i limiti. Si potrebbe dire che i sistemi decisionali basati su algoritmi dovrebbero essere sempre accompagnati da un set di istruzioni, quasi alla stregua di un foglietto informativo che indica i rischi e gli effetti collaterali di un farmaco. Altrettanto importante è il monitoraggio delle organizzazioni o delle aziende che utilizzano questo tipo di applicazioni. È loro responsabilità verificare e garantire la qualità degli algoritmi utilizzati.

Ha parlato dei limiti degli algoritmi. Quali sono a suo parere?

Strohm: I limiti possono essere di molti tipi diversi, dipende sempre dall’algoritmo. Ma nella maggior parte dei casi si tratta di limiti tecnici, che spesso si scoprono soltanto dopo un’analisi dei dati o una verifica dell’algoritmo. Ad esempio, in campo medico si addestrano algoritmi basati su dati relativi alla salute di pazienti dell’Europa centrale. Naturalmente, la provenienza di questi dati dovrebbe anche limitare a priori l’uso di tale algoritmo alla stessa area geografica, in quanto non è possibile garantire che l’algoritmo funzioni altrettanto bene altrove. Per le aziende o le organizzazioni tale controllo comporterebbe un onere aggiuntivo, ragion per cui molte normalmente non lo fanno. Al momento la legge non richiede di effettuare questi controlli di qualità. Sarebbe tuttavia molto importante svolgerli, e in molti casi perfino nell’interesse dell’azienda stessa.

Perché questi controlli non vengono ancora effettuati in misura sufficiente?

Strohm: Manca la consapevolezza dell’esistenza di questi limiti. Gli algoritmi esistono da più di cent’anni. Negli ultimi decenni la tecnologia è stata costantemente migliorata e agli algoritmi vengono assegnati sempre più compiti di crescente complessità, senza però comprendere esattamente come funziona la tecnologia. Per questo occorrono processi che garantiscano la qualità dopo l’implementazione.

Chi dovrebbe essere responsabile della regolamentazione? Lo Stato?

Strohm: Non deve necessariamente essere lo Stato. Tutti, dagli sviluppatori/le sviluppatrici e i venditori/le venditrici fino agli utenti e alle utenti finali, devono assumersi la propria parte di responsabilità.

In un’intervista ha detto che bisogna insegnare agli algoritmi a prendere decisioni eque. Cosa significa «equo» in questo contesto?

Strohm: Questa è la grande domanda di cui ci stiamo occupando anche nel nostro progetto di Innosuisse «Algorithmic Fairness», che stiamo realizzando, tra l’altro, con la ZHAW e l’Università di Zurigo. Il progetto è orientato più sugli aspetti tecnici e in primo luogo è incentrato sull’elaborazione di criteri per l’equità, da tradurre successivamente nel linguaggio tecnico. Nell’ambito di altri progetti stiamo valutando insieme ad aziende e a organizzazioni quale approccio adottare con gli utilizzatori e le utilizzatrici per rendere gli algoritmi più equi e assicurare la qualità. Nel caso del riconoscimento vocale per i rifugiati, ad esempio, con una piccola modifica si potrebbe ottenere una migliore interpretazione dei risultati da parte degli utenti e delle utenti finali. Si potrebbe ad esempio indicare la probabilità calcolata dall’algoritmo in base all’accento non in mere cifre, bensì mediante tre livelli: probabilità elevata, media e scarsa. Ciò offrirebbe agli utilizzatori e alle utilizzatrici maggiore sicurezza nell’interpretazione dei risultati, che alla fine sarebbero più equi rispetto a prima. Inoltre, in futuro dobbiamo concentrarci ancora di più sul comunicare correttamente i risultati generati dagli algoritmi. Qui la trasparenza è un tema molto importante. Per raggiungerla ci vogliono dei team interdisciplinari che si occupino di tale lavoro di traduzione.

La trasparenza potrà migliorare la fiducia negli algoritmi?

Strohm: Trasparenza non significa automaticamente fiducia, ma può comunque generare una certa credibilità. Tuttavia, non basta semplicemente comunicare alle persone che per un determinato processo decisionale è stato utilizzato un algoritmo. Deve anche essere offerta loro la possibilità di ricevere una spiegazione in relazione alla decisione o di contestarla nel caso in cui si sentano trattate ingiustamente, ad esempio nelle procedure di candidatura o nel pagamento di prestazioni sociali. Se non si fa questo ne potrebbero risultare incredibili ingiustizie senza che vengano notate o senza poterle rettificare. Questo è molto pericoloso da un punto di vista etico. Di una cosa bisogna essere consapevoli: la tecnologia avrà sempre i suoi limiti. Per questo motivo, i processi che portano alle decisioni devono essere resi trasparenti. Questo crea più equità e giustizia.

Intervista: Marion Loher

Foto/scena: Simon Tanner