Pourquoi les algorithmes doivent s’accompagner d’une notice d’utilisation

Les algorithmes sont actuellement sur toutes les lèvres et ce thème peut parfois semer la discorde, notamment en matière d’éthique. Lea Strohm est codirectrice d’ethix, le laboratoire d’éthique de l’innovation qui révèle les enjeux éthiques de la transition numérique. Dans cet entretien, elle explique pourquoi les processus de décision algorithmiques ne sont jamais objectifs, ce qu’il faudrait faire pour rendre les algorithmes plus justes et pourquoi il faudrait se concentrer davantage sur les utilisatrices et utilisateurs finaux.
 

Lea Strohm, que peuvent faire les algorithmes d’un point de vue éthique?

Lea Strohm: Pour les algorithmes, je n’utiliserais pas forcément le verbe «pouvoir», car je pense qu’il sous-entend que les algorithmes agissent de leur propre chef, ce qui n’est pas le cas. Les algorithmes font partie d’un système généré par les hommes. Les humains décident, pour une grande variété de sujets, des tâches à attribuer à un algorithme et de la manière de l’entraîner à les accomplir.

Il existe un nombre incalculable d’algorithmes. Lesquels sont pertinents en matière d’éthique?

Lea Strohm: Les algorithmes pertinents sont avant tout ceux qui ont un lien avec les humains, et la situation devient critique lorsqu’ils décident pour les humains. Par exemple, lorsqu’un ordinateur prend une décision qui incombait jusqu’ici à un humain. La question est de savoir quel impact cela a sur la décision et la chaîne décisionnelle. Au début, on pensait que l’ordinateur était plus objectif que l’être humain, car il n’est pas influencé par des sympathies, expériences et préjugés personnels, mais ce n’est évidemment pas le cas.

Pourquoi les algorithmes ne sont-ils pas objectifs?

Lea Strohm: Les algorithmes sont programmés par des personnes qui ont leurs propres valeurs, et ces valeurs sont ensuite reflétées dans les algorithmes. En outre, les enregistrements de données utilisés pour former des algorithmes ou des systèmes décisionnels automatisés ne sont souvent pas exempts de préjugés, ce qui peut mener à de la discrimination. Actuellement, l’accent est mis sur la manière d’améliorer l’éthique des algorithmes sur le plan technique. Mais pour cela, il est important de ne pas oublier qu’il existe encore aujourd’hui peu de décisions entièrement automatisées. Dans la plupart des cas, les algorithmes aident les humains à prendre des décisions. Et ces humains ont également leurs préjugés et leurs valeurs. Il est donc important qu’ils comprennent l’algorithme et en connaissent les limites… mais ce n’est souvent pas le cas.

Pouvez-vous donner un exemple?

Lea Strohm: En Allemagne, pendant la crise migratoire, certains services chargés des migrations utilisaient des enregistrements vocaux des réfugiés pour déterminer leur accent, leur origine et la véracité de leurs propos. Ces éléments, ainsi que d’autres facteurs, ont influencé la décision positive ou négative quant à la demande d’asile. L’ordinateur calculait un chiffre de probabilité à partir de l’enregistrement vocal. Par exemple, il a pu indiquer que la personne était originaire de l’est de la Syrie avec une probabilité de 67,82%. Un tel chiffre suggérait aux collaboratrices et collaborateurs que les probabilités étaient une science exacte. Mais toute personne qui connaît le calcul des probabilités sait que ces chiffres doivent être utilisés avec réserve. Les Data Scientists, qui sont confrontés au quotidien à ces calculs de probabilités, le savent. En revanche, ce n’est pas le cas d’une collaboratrice ou un collaborateur spécialisé. Cet exemple montre qu’avec les algorithmes, ce n’est pas seulement la technologie qui pose problème, mais aussi la manière dont elle est utilisée et comprise.

Malgré cette complexité, comment les algorithmes peuvent-ils faire preuve d’éthique?

Lea Strohm: Il existe des critères précis de développement des algorithmes. Par exemple, leur structure doit respecter certaines normes de qualité et être compréhensible. Mais ce n’est qu’une partie de la problématique. Il est important d’inclure l’ensemble du processus. Ainsi, les utilisatrices et utilisateurs finaux doivent également comprendre ce qu’est un algorithme, ce que peut faire une application et quelles sont les limites. On pourrait dire que les systèmes décisionnels algorithmiques devraient toujours être accompagnés d’un mode d’emploi – à savoir une notice d’utilisation avec les risques et les effets secondaires. La surveillance des organisations ou des entreprises qui utilisent une telle application est tout aussi importante. Il leur incombe de vérifier et de garantir la qualité des algorithmes utilisés.

Vous avez évoqué les limites des algorithmes. Quelles sont-elles, selon vous?

Lea Strohm: Les limites sont très variées et dépendent de l’algorithme. Mais la plupart du temps, il s’agit de limites techniques découvertes seulement lorsque les données sont analysées ou que l’algorithme est testé. Par exemple, dans le domaine médical, des algorithmes sont constitués à partir des données de santé de patients d’Europe centrale. A priori, l’origine de ces données devrait limiter le champ d’application d’un tel algorithme à la même zone géographique, puisqu’il est impossible de garantir que l’algorithme fonctionnera aussi bien ailleurs. Pour les entreprises ou les organisations, une telle vérification représenterait un surcroît de travail, c’est pourquoi beaucoup ne l’effectuent pas de manière automatique. Pour l’instant, il n’existe aucune réglementation exigeant d’effectuer un tel contrôle de la qualité. Pourtant, elle pourrait s’avérer essentielle et même, dans l’intérêt de l’entreprise dans de nombreux cas.

Pourquoi ces contrôles sont-ils encore trop rares?

Lea Strohm: Car les gens n’ont pas conscience de l’existence de ces limites. Les algorithmes existent depuis plus de cent ans. La technologie n’a cessé de progresser au cours des dernières décennies, et des tâches de plus en plus complexes sont confiées à des algorithmes – sans que l’on comprenne exactement comment la technologie fonctionne. C’est pourquoi nous avons besoin de processus qui garantissent la qualité de l’algorithme après sa mise en œuvre.

Qui doit être responsable de cette réglementation? L’État?

Lea Strohm: Pas forcément. Tous les acteurs, des développeurs aux vendeurs jusqu’à l’utilisatrice ou utilisateur final, devraient assumer leur part de responsabilité.

Dans un autre entretien, vous avez déclaré qu’il fallait apprendre aux algorithmes à prendre des décisions justes. Que signifie le terme «juste» dans ce contexte?

Lea Strohm: C’est la grande question à laquelle nous réfléchissons dans le cadre de notre projet Innosuisse «Algorithmic Fairness», que nous menons notamment en collaboration avec la ZHAW et l’Université de Zurich. Le projet aborde plutôt l’aspect technique, et il consiste principalement à élaborer des critères d’équité, puis à les traduire en langage technique. Dans le cadre d’autres projets, nous travaillons avec des entreprises et des organisations pour réfléchir à la manière d’approcher les utilisatrices et utilisateurs afin que les algorithmes deviennent plus équitables et que la qualité puisse être garantie. Dans l’exemple de la reconnaissance vocale des réfugiés, un simple petit ajustement pourrait permettre aux utilisatrices et utilisateurs finaux de mieux interpréter le résultat. Par exemple, pour la probabilité calculée sur la base de l’accent, on pourrait donner le résultat non pas avec de simples chiffres, mais le répartir en trois catégories: probabilité forte, moyenne et faible. Les utilisatrices et utilisateurs seraient ainsi plus sûrs de l’interprétation des résultats, qui seraient finalement plus justes qu’auparavant. En outre, nous devons à l’avenir nous efforcer davantage à communiquer correctement les résultats générés par les algorithmes. La transparence est ici capitale. Elle nécessite des équipes interdisciplinaires chargées d’effectuer ce travail de «traduction».

La transparence peut-elle favoriser la confiance dans les algorithmes?

Lea Strohm: La transparence ne signifie pas automatiquement la confiance, mais elle peut apporter une certaine crédibilité. Toutefois, il ne suffit pas de dire aux gens qu’un algorithme a été utilisé pour prendre une décision. Ils doivent également avoir la possibilité de se faire expliquer cette décision ou de la contester s’ils estiment avoir été traités injustement, par exemple dans les procédures de candidature ou dans le versement de prestations sociales. Dans le cas contraire, cela pourrait donner lieu à des injustices incroyables, sans qu’elles ne soient remarquées ou corrigées. C’est très dangereux d’un point de vue éthique. Nous devons être conscients d’une chose: la technologie aura toujours ses limites. C’est pourquoi nous devons garantir la transparence des processus qui mènent aux décisions. Nous assurerons ainsi plus de justice et d’équité.

Entretien: Marion Loher

Photo/scène: Simon Tanner