Warum Algorithmen eine Art Beipackzettel brauchen

Algorithmen sind derzeit ein viel diskutiertes Thema und bieten gerade in Kombination mit ethischen Überlegungen Zündstoff. Lea Strohm ist Co-Geschäftsführerin bei ethix, dem Lab für Innovationsethik, das ethische Brennpunkte des digitalen Wandels beleuchtet. Im Interview sagt sie, weshalb algorithmische Entscheidungsprozesse nie objektiv sind, was es braucht, damit Algorithmen fairer werden, und warum die Endnutzer*innen stärker im Fokus stehen sollten.

Lea Strohm, was dürfen Algorithmen aus ethischer Sicht?

Lea Strohm: Bei Algorithmen würde ich nicht unbedingt von «dürfen» sprechen, da das Wort meiner Meinung nach suggeriert, dass sie selbst handeln können, und das ist nicht der Fall. Algorithmen sind Teil eines Systems, das von Menschen generiert ist. Menschen entscheiden für die verschiedensten Themenbereiche, welche Aufgaben einem Algorithmus zugeschrieben werden und wie er dafür trainiert wird.

Es gibt unzählig viele Algorithmen. Welche sind für die Ethik relevant?

Strohm: Relevant sind vor allem jene Algorithmen, die einen Bezug zum Menschen haben, und kritisch wird es dann, wenn sie über Menschen entscheiden. Wenn also ein Computer die Entscheidung trifft, die bis anhin ein Mensch getroffen hat. Hier stellt sich die Frage, welche Auswirkungen dies auf den Entscheid und die Entscheidungskette hat. Vor allem am Anfang glaubte man, der Computer ist objektiver als der Mensch, weil er nicht von persönlichen Sympathien, Erfahrungen und Vorurteilen geprägt ist – was natürlich nicht stimmt.

Weshalb sind Algorithmen nicht objektiv?

Strohm: Algorithmen werden von Menschen programmiert, die ihre eigenen Wertvorstellungen haben, und diese Wertvorstellungen finden sich dann wieder in den Algorithmen. Dazu kommt, dass die Datensätze, mit denen Algorithmen beziehungsweise Systeme zur automatisierten Entscheidungsfindung trainiert werden, oftmals nicht frei von Verzerrungen sind, was zu Diskriminierung führen kann. Momentan wird stark darauf fokussiert, wie Algorithmen auf technischer Ebene ethischer gestaltet werden können. Dabei dürfen wir aber nicht vergessen, dass es heute noch wenig vollautomatisierte Entscheide gibt. In den meisten Fällen werden Algorithmen dafür verwendet, Menschen in ihren Entscheiden zu unterstützen. Diese Menschen haben ebenfalls ihre Vorurteile und Wertvorstellungen. Deshalb ist es wichtig, dass sie den Algorithmus verstehen und seine Limitationen kennen, doch dies ist häufig nicht der Fall.

Können Sie ein Beispiel nennen?

Strohm: In Deutschland gab es während der Flüchtlingskrise Migrationsämter, die basierend auf Sprachaufnahmen von Geflüchteten deren Akzent feststellten, woher sie kamen und ob sie allenfalls nicht die Wahrheit sagten. Dies hatte, zusammen mit weiteren Faktoren, Einfluss auf einen positiven oder negativen Asylentscheid. Aufgrund der Sprachaufnahme spuckte der Computer eine Wahrscheinlichkeitszahl aus. So gab er beispielsweise an, dass die Person mit 67,82 Prozent Wahrscheinlichkeit aus Ostsyrien kommt. Die Zahl suggerierte den Mitarbeitenden eine genaue Wissenschaft. Wer sich aber mit Wahrscheinlichkeitsrechnung auskennt, der weiss, dass man diese Zahlen nur mit Vorbehalt beiziehen darf. Data Scientists, die täglich damit zu tun haben, wissen das – ein Sachbearbeiter oder eine Sachbearbeiterin hingegen weiss das möglicherweise nicht. Dieses Beispiel zeigt, dass bei den Algorithmen nicht bloss die Technologie ein Problem ist, sondern auch, wie sie angewendet und verstanden wird.

Wie kann es bei dieser Komplexität dennoch gelingen, dass Algorithmen ethisch agieren?

Strohm: Es gibt klare Kriterien für die Entwicklung von Algorithmen. Sie müssen in ihrer Bauweise beispielsweise bestimmten Qualitätsstandards entsprechen und nachvollziehbar sein. Dies ist aber nur ein Teil des Ganzen. Wichtig ist, den ganzen Prozess einzubeziehen. So müssen auch die Endnutzerinnen und Endnutzer verstehen, was ein Algorithmus, was eine Anwendung kann und wo die Grenzen liegen. Man könnte sagen, dass algorithmischen Entscheidungssystemen immer eine Anleitung beigelegt sein sollte – quasi ein Beipackzettel mit Risiken und Nebenwirkungen. Ebenso bedeutend ist das Monitoring der Organisationen oder Unternehmen, die eine solche Anwendung nutzen. Es liegt in ihrer Verantwortung, die Qualität der verwendeten Algorithmen zu prüfen und sicherzustellen.

Sie haben die Limitationen der Algorithmen angetönt. Wo sehen Sie diese?

Strohm: Die Limitationen sind sehr unterschiedlich, es kommt immer auf den Algorithmus an. Meistens sind es aber technische Limitationen, die oft erst bei einer Analyse der Daten oder einer Prüfung des Algorithmus entdeckt werden. Zum Beispiel werden im medizinischen Bereich Algorithmen trainiert, die auf Gesundheitsdaten von zentraleuropäischen Patientinnen und Patienten basieren. Die Herkunft dieser Daten sollte den Anwendungsbereich eines solchen Algorithmus a priori auch auf denselben geografischen Raum beschränken, da nicht gesichert werden kann, dass der Algorithmus anderswo gleich gut funktioniert. Für Unternehmen oder Organisationen würde eine solche Prüfung einen Mehraufwand bedeuten, weswegen viele sie nicht standardmässig vornehmen. Momentan gibt es keine Vorschriften, eine solche Qualitätsüberprüfung durchzuführen. Sie wäre allerdings sehr wichtig und in vielen Fällen sogar im Interesse des Unternehmens.

Weshalb werden diese Kontrollen noch zu wenig gemacht?

Strohm: Es fehlt das Bewusstsein, dass es diese Limitationen gibt. Algorithmen existieren seit über hundert Jahren. Die Technologie wurde in den letzten Jahrzehnten ständig verbessert und es werden immer mehr und immer komplexere Aufgaben an Algorithmen abgegeben – ohne genau zu verstehen, wie die Technologie funktioniert. Deshalb braucht es Prozesse, welche die Qualität nach der Implementierung sicherstellen.

Wer soll für die Regulierung verantwortlich sein? Der Staat?

Strohm: Es muss nicht unbedingt nur der Staat sein. Es sollten alle, von den Entwickelnden über die Verkäufer*innen bis hin zu den Endnutzer*innen, ihren Teil der Verantwortung übernehmen.

In einem Interview haben Sie gesagt, man müsse Algorithmen beibringen, fair zu entscheiden. Was bedeutet «fair» in diesem Zusammenhang?

Strohm: Das ist die grosse Frage, die wir auch in unserem Innosuisse-Projekt «Algorithmic Fairness», das wir unter anderem zusammen mit der ZHAW und der Universität Zürich durchführen, diskutieren. Das Projekt ist eher auf der technischen Ebene angesiedelt und es geht in erster Linie darum, Kriterien für Fairness zu erarbeiten und diese dann in die technische Sprache zu übersetzen. In anderen Projekten überlegen wir mit Firmen und Organisationen, wie bei den Anwenderinnen und Anwendern anzusetzen ist, damit Algorithmen gerechter werden und die Qualität gewährleistet werden kann. Beim Beispiel mit der Spracherkennung bei Geflüchteten könnte mit einer kleinen Anpassung bewirkt werden, dass die Endnutzer*innen das Resultat besser interpretieren können. Man könnte beispielsweise die Wahrscheinlichkeit, die der Algorithmus aufgrund des Akzents berechnet, nicht in nackten Zahlen angeben, sondern in drei Bereichen: grosse, mittlere und kleine Wahrscheinlichkeit. Das gibt den Anwenderinnen und Anwendern ein sichereres Gefühl für die Interpretation der Ergebnisse, die schliesslich fairer sind als zuvor. Ausserdem müssen wir den Fokus künftig noch stärker darauf legen, die Resultate, die Algorithmen hervorbringen, richtig zu kommunizieren. Transparenz ist hier ein grosses Thema. Dafür braucht es interdisziplinäre Teams, die eine solche Übersetzungsarbeit leisten.

Kann durch die Transparenz das Vertrauen in die Algorithmen gefördert werden?

Strohm: Transparenz bedeutet nicht automatisch Vertrauen, sie kann aber eine gewisse Vertrauenswürdigkeit schaffen. Es genügt jedoch nicht, den Leuten einfach nur mitzuteilen, dass für eine Entscheidungsfindung ein Algorithmus verwendet worden ist. Sie müssen auch die Möglichkeit bekommen, diesen Entscheid erklärt zu bekommen oder ihn anzufechten, wenn sie sich ungerecht behandelt fühlen, beispielsweise bei Bewerbungsverfahren oder bei der Zahlung von Sozialleistungen. Wird das nicht gemacht, können unglaubliche Ungerechtigkeiten resultieren, ohne dass sie bemerkt werden oder rückgängig gemacht werden können. Dies ist aus ethischer Sicht sehr gefährlich. Uns muss bewusst sein: Die Technologie wird immer ihre Limitationen haben. Deshalb müssen die Prozesse, die zu den Entscheiden führen, transparent gemacht werden. Das schafft mehr Gerechtigkeit und Fairness.

Interview: Marion Loher

Foto/Bühne: Simon Tanner