AlgorithmWatch: kleine Helfer mit grossen Konsequenzen

Algorithmen beeinflussen unser tägliches Leben – jedoch derart unauffällig, dass es vielen gar nicht bewusst ist. Was überhaupt ist ein Algorithmus? Vereinfacht gesagt handelt es sich dabei um eine Reihe von Anweisungen, die Schritt für Schritt ausgeführt werden, um eine Aufgabe zu lösen. Wer nach einem Rezept ein Pasta-Gericht kocht, führt den Algorithmus der Kochanleitung aus. Und wenn Google Maps auf dem Handy den kürzesten Weg zum Ziel berechnet und auf dem Schirm anzeigt, macht die App das mit Hilfe eines programmierten Algorithmus.

Algorithmen sind heute eines der wichtigsten Themen der Informatik und Mathematik. Schlaue Köpfe entwickeln sie und geben vor, wie sie in Form von Programmen und elektronischen Schaltkreisen Computer und Maschinen steuern sollen. Benannt sind sie nach dem persischen Mathematiker Muhammad al-Chwarizmi, dessen Lehrbücher im Mittelalter ins Lateinische übersetzt wurden.

Sie entscheiden, was wir sehen

Algorithmen dominieren die sozialen Netzwerke: Sie entscheiden im Hintergrund, was und wer auf den Newsfeeds bei Facebook oder Instagram angezeigt wird. Und was und wer eben nicht. Dahinter stecken oft handfeste kommerzielle Interessen, die der programmierte Algorithmus berücksichtigt.

Es gibt einige weitere problematische Nebenwirkungen, etwa wenn Google Maps massenhaft Autos auf kleine Quartierstrassen schickt, um einem Stau auszuweichen. Oder dass die Gesichtserkennung von Smartphones und anderen Geräten bei hellhäutigen Männern viel besser funktioniert als bei Dunkelhäutigen oder Frauen. Oder dass Jobportale einer Frau bei der Online-Stellensuche andere Jobs vorschlagen als einem Mann – meist schlechter bezahlte, basierend auf Klischees.

Deshalb gibt es in Europa seit ein paar Jahren die gemeinnützige Organisation AlgorithmWatch, welche die Öffentlichkeit für allfällige ethische Konflikte sensibilisieren will, algorithmische Entscheidungsprozesse überprüft und Handlungsempfehlungen zur demokratischen Aufsicht und Regulierung gibt. 

Den Algorithmen auf die Finger schauen

Seit September hat die Organisation auch einen Ableger in der Schweiz, dank dem Migros-Pionierfonds der die Finanzierung bis Ende 2022 sicherstellt. «Wir versuchen, den Algorithmen auf die Finger zu schauen», sagt Anna Mätzener (42), Mathematikerin und Leiterin von AlgorithmWatch Schweiz. «Ziel ist sicherzustellen, dass diese Technologie keine negativen Folgen für die Gesellschaft hat, dass ihre Vorteile allen zugute kommen und nicht einfach bestehende Machtverhältnisse verstärken.» Zu diesem Zweck verfasst die Organisation regelmässig Reporte, Ende Januar den ersten zur Lage in der Schweiz (siehe Interview), und bemüht sich um Aufklärungsarbeit in den Medien. 
Derzeit besteht AlgorithmWatch Schweiz lediglich aus Mätzener und einer Mitarbeiterin, es soll jedoch dieses Jahr noch eine weitere Personen hinzukommen. Zudem ist die Kooperation mit dem Hauptsitz in Berlin sehr eng. 

Die Schweiz ist momentan auf dem richtigen Weg im Umgang mit Algorithmen, findet Expertin Nadja Braun Binder. Sie rät jedoch zu erhöhter Wachsamkeit.
 

Algorithmen vereinfachen uns  in vielen Bereichen den Alltag. An sich eine gute Sache, oder?

Absolut. Es ist zum Beispiel toll, was heute mit Spracherkennung alles möglich ist. Ich selbst nutze regelmässig eine Diktiersoftware, die mündlich Gesprochenes in schriftliche Sprache übersetzt. So schreibe ich inzwischen zum Beispiel meine Mails.

Es gibt aber auch problematische Aspekte, wie Sie auch in Ihrem Schweiz-Report für AlgorithmWatch festgehalten haben. Welche würden Sie besonders hervorheben?

Mehrere. Je nach Anwendung ist es problematisch, dass man nicht immer nachvollziehen kann, wie diese Systeme arbeiten. Bei der eben erwähnten Sprachsoftware macht das nicht viel, aber wenn ein Algorithmus für eine Bank meine Kreditwürdigkeit beurteilt, will ich schon wissen, wie der Entscheid zustande kommt. Zudem brauchen diese Systeme eine Unmenge von qualitativ hochwertigen Daten – wenn es davon nicht genügend gibt, kann dies zu Fehlentscheiden führen, etwa bei der Einschätzung der Rückfallgefahr von Straftätern. 

Gibt es noch mehr?

Es besteht überdies ein Diskriminierungsrisiko. Ein Beispiel: Ein Arbeitsmarktservice will Jobchancen von Arbeitslosen beurteilen und nutzt dafür gewisse Muster. Historisch gesehen haben Frauen mit Kindern mehr Probleme im Arbeitsmarkt als Männer ohne Kinder. Es besteht also das Risiko, dass dieser Algorithmus Männer bevorzugt behandelt, weil sie angeblich bessere Chancen haben.

Man sollte solche Systeme also nur zurückhaltend einsetzen?

Vor allem sollte man sie nur unterstützend nutzen, nicht um Entscheide zu treffen – das sollte Menschen überlassen bleiben, auf Basis des vom Algorithmus bereit gestellten Materials. Und diese Menschen müssen so geschult sein, dass sie dieses Material kritisch beurteilen können. 

Gibt es aktuell in der Schweiz algorithmische Anwendungen, die Ihnen Sorgen machen?

Mir scheint, man ist sich beim Staat und in der Verwaltung sehr wohl bewusst, dass es heikle Elemente gibt. Der Staat setzt solche Systeme hierzulande bisher nur zurückhaltend und nach ausgiebigen Abklärungen ein. Ein Werkzeug zur vorausschauenden Polizeiarbeit etwa wird im Aargau, in Baselland und in der Stadt Zürich genutzt, aber nur sehr limitiert. Es dient derzeit nur zur Lokalisierung von Gegenden, in denen Wohnungseinbrüche und -diebstähle vermehrt vorkommen könnten. Diskriminierende Folgen ergeben sich daraus kaum.

Und wie sieht es in der Privatwirtschaft aus?

Das kann ich nicht umfassend beurteilen. Private haben weniger gesetzliche Einschränkungen bei der Nutzung, aber auch sie müssen etwa Datenschutz-Vorgaben und strafrechtliche Grenzen beachten. Ihre Anreize sind jedoch anders: Der Staat will effizienter, bürgerfreundlicher und rechtskonformer arbeiten, die Privatwirtschaft möchte innovativ sein, neue Anwendungen entwickeln und Kunden gewinnen. Klar ist: Beide Seiten werden sich künftig vermehrt für solche Systeme interessieren – deshalb ist erhöhte Wachsamkeit gefordert, sobald es um eine Beurteilung von Menschen geht.

Alles in allem sind wir in der Schweiz also gut unterwegs in dem Bereich?

Im Moment sind wir auf dem richtigen Weg. Wir treffen Abklärungen, sind uns Herausforderungen bewusst, und verzichten – zumindest im Staat – eher auf einen Einsatz alogrithmischer Systeme, als dass wir forsch einfach mal was einführen. Mittelfristig sehe ich allerdings Handlungsbedarf bei der Schaffung der rechtlichen Rahmenbedingungen. Auch wenn zum Beispiel im neuen Datenschutzgesetz automatisierte Einzelentscheide geregelt werden, sind die Diskriminierungsrisiken davon nicht erfasst. Pauschales Misstrauen ist fehl am Platz, aber es gilt, Chancen und Risiken abzuwägen und letztere in den Griff zu kriegen. Und ich denke, dass viele Menschen sich noch zu wenig bewusst sind, was da auf uns zukommt. 

Welche Entwicklungen gibt es, die Sie beunruhigen und die wir hier vermeiden sollten?

Erschreckend finde ich Anwendungen wie die Gesichtserkennung im öffentlichen Raum, bei denen im Hintergrund gleich noch Datenbanken nach heiklen Informationen durchsucht werden. In einigen Ländern wie etwa China sind solche Systeme bereits im Einsatz, im Namen von Sicherheit und Prävention. In mehreren US-Städten wurden aber auch schon Pilotversuche damit gestoppt oder der Einsatz von Gesichtserkennungssoftware verboten.

Wie kann man verhindern, dass Algorithmen diskriminierende Entscheide treffen?
Das hängt nicht nur an staatlichen Regulierungen, sondern auch an der Art und Weise wie die Algorithmen programmiert werden, nicht?

Richtig. Wir müssen deshalb Programmierer und Anwenderinnen entsprechend sensibilisieren. Am Ende ist es ein schwieriger Balanceakt zwischen möglichst raschen, möglichst guten und möglichst fairen Ergebnissen. Deshalb sollten wir das Thema nicht einfach der IT überlassen, es braucht Inputs von vielen anderen Seiten. Zentral ist bei lernenden Systemen zum Beispiel die richtige Auswahl von Trainingsdaten für den Algorithmus. Denn Daten aus Ländern, in denen die Bevölkerungszusammensetzung ganz anders ist, führen bei uns möglicherweise zu Fehlentscheiden.

Gibt es Bereiche unserer Alltagswelt, in denen Algorithmen auch künftig nie Fuss fassen werden?

Ja, zum Beispiel in unseren politischen Institutionen. Parlamentarierinnen, Bundesräte, Richterinnen und Stimmberechtigte werden ihre Entscheide auch künftig frei von Algorithmen selbst treffen.
 

Broschüre «Automating Society Report 2020»

Foto/Bühne: GettyImages