Humane Algorithmen – dafür legt sie sich mit Amazon an

Deborah Raji ist gerade am Flughafen Toronto Pearson in Kanada, als es mal wieder passiert. Sie hat ihr Ticket dabei, das Gepäck aufgegeben, alles ist bereit. Doch jetzt steht sie vor einem Scanner, der ihr Gesicht mit dem Foto auf dem Pass abgleichen soll. Sie dreht und wendet den Kopf, probiert verschiedene Distanzen aus. Ohne Erfolg. «Wahrscheinlich fiel das Licht ungünstig auf mein Gesicht», sagt sie und verdreht die Augen. Nach einigen Minuten muss sie das Personal rufen. Die Maschine hat ihr Gesicht nicht erkannt.

Gesichtserkennungs­software wird von Digital­unternehmen gerne als «Wunder­technologie» präsentiert. Ausgeklügelte Programme sollen helfen, Betrügerinnen zu erkennen, Terroristen, mögliche Verdächtige. Dass diese Technologien erstaunlich gut auf dem Papier funktionieren und ausgesprochen schlecht für Menschen, die nicht dem weissen Standard­typ entsprechen, den die Silicon-Valley-Forscherinnen vor Augen hatten, wissen wir dank drei Frauen. Eine von ihnen ist Deborah Raji. «Kritiker halten mir vor, ich wisse zu wenig darüber, wie maschinelles Lernen in der Praxis funktioniert», sagt sie und streicht sich eine geflochtene Haar­strähne aus dem Gesicht. «Dabei war es genau diese Arbeit, die mich radikalisierte.»

Deborah Inioluwa Raji: geboren in Nigeria, aufgewachsen in Kanada, radikalisiert in den USA. Wer sich mit ihr treffen möchte, muss geduldig sein – und hartnäckig. Auf die erste Presse­anfrage reagiert sie nicht, auf die zweite stark verspätet und mit einer Absage. Dass sie ihre Meinung ändert, liegt nur daran, dass man sich als Doktorandin zu erkennen gegeben hat, die sich für ähnliche Themen interessiert. Die schlechte Erreichbarkeit ist keine Attitüde, sondern die Konsequenz ihrer sich selbst auferlegten Mission, Digital­unternehmen und Programmierer in die Verantwortung zu ziehen.

Bis jetzt hat es nicht schlecht funktioniert. Während Gleichaltrige von einer ersten Praktikums­stelle träumen, hat die 24-Jährige bereits eine Bildungs­initiative für einkommens­schwache Bevölkerungs­gruppen gegründet, Algorithmen von Big-Tech-Unternehmen kontrolliert und eine der grössten Technologie­firmen zum Rückzug einer Software gezwungen. Für «Forbes» gehört sie zu den 30 einfluss­reichsten Tech-Persönlichkeiten unter 30, die «MIT Technology Review» des Massachusetts Institute of Technology (MIT) nennt sie eine der wichtigsten Visionärinnen unter 35. Raji sitzt nun in einem Studenten­café unweit des Universitäts­campus im kalifornischen Berkeley und sagt, sie frage sich zunehmend, ob sie eigentlich ein Teil des Problems sei, das sie lösen wolle.

«Viele Systeme, die wir auf die Bevölkerung loslassen, funktionieren nicht richtig», sagt Raji. Mit «wir» meint sie Informatiker und Programmiererinnen wie sich selber, die Algorithmen und Technologien entwickeln, deren genaues Zusammen­spiel sie nicht wirklich verstehen, die aber sehr konkrete Auswirkungen für die Betroffenen haben können. «Nur weil wir mit Programmen arbeiten, sind wir nicht aus der Verantwortung entlassen», sagt Raji. Wenn ein Arzt pfusche, könne das über Leben und Tod entscheiden. In der Technologie sei es dasselbe. «Je nach Reichweite eines Algorithmus kann eine Fehler­quote von 0,1 Prozent Hundert­tausende von Menschen das Leben kosten.» Weil sie nicht die richtige Gesundheits­versorgung bekommen. Weil ihnen Sozial­leistungen aberkannt werden. Weil sie als Terroristinnen verdächtigt werden. Alles schon passiert. Deshalb ist Raji jetzt zu einer Art «digitalem watchdog» geworden. Sie nennt es: algorithmic auditing.

Vielleicht liege es daran, dass sie sich als drittes von fünf Kindern immer habe durchsetzen müssen, sagt Raji, «aber ich identifiziere Ungerechtigkeit ziemlich schnell». Schnell ist sie ohnehin meistens, nicht nur im Denken und Tippen, sondern auch im Sprechen. Wenn sich Raji in Rage redet, gehen teilweise ganze Silben verloren. Dann grinst sie verlegen, trinkt einen grossen Schluck von ihrem Mocha Latte und sieht aus wie jede andere Studentin im licht­durchfluteten Café – mit der Ausnahme, dass Raji eigentlich nur Dinge macht, welche die klassische Wissenschafts­karriere erst in ein paar Jahren vorsieht: internationale Vorträge, Podcast-Auftritte, Forschungs­artikel quasi im Zweiwochen­takt. Sie publiziert so viel, dass Timnit Gebru, mittlerweile eine der bekanntesten AI-Ethik-Forscherinnen der Welt, die Ankündigung eines neuen Papiers mit der Frage kommentierte, woher Raji eigentlich all die Zeit nehme; sie habe schon Mühe damit, alle ihre Beiträge überhaupt zu lesen.

Gesichtserkennungs-Technologie funktioniert – für weisse Männer

Ihre Radikalisierung beginnt im Sommer 2016, als sie eine Praktikums­stelle beim Start-up Clarifai antritt, das mithilfe von maschinellem Lernen Bilder und Videos analysiert. Raji gilt als kreative Studentin, die in ihrer Freizeit gerne an Hackathons teilnimmt und eigene Programme schreibt. Bei Clarifai soll sie an einem Algorithmus arbeiten, der unangebrachte Inhalte identifiziert. Sie ist fasziniert vom dynamischen Arbeits­umfeld, der furchtlosen Attitüde ihrer Kollegen. Bis sie feststellt, dass ihr Algorithmus übermässig oft Inhalte markiert, die von Menschen mit dunkleren Haut­tönen stammen.

Schuld sind die Trainings­daten. Weil es schwierig ist, an genügend Material zu kommen, bedienen sich Programmiererinnen bei klassischen Bild­archiven – und Pornografie. Doch während Erstere fast nur Menschen in hellen Haut­tönen zeigen, weisen Letztere eine hohe Diversität auf. Deshalb assoziiert der Algorithmus einen dunklen Hautton automatisch mit unangebrachten Inhalten. Darauf angesprochen, reagiert ihr Vorgesetzter mit einem Schulter­zucken: Es sei schon schwierig genug, an genügend Trainings­daten zu gelangen, um ethnische Vielfalt könne man sich nicht auch noch kümmern.

Weil ihr die Sache mit dem Algorithmus keine Ruhe lässt, beginnt sie nach Gleich­gesinnten zu suchen. Sie findet: Joy Buolamwini. Die Master­studentin am MIT Media Lab arbeitet an einer ethnisch ausgewogenen Datenbank, seit sie von einer Gesichts­erkennungs­software fälschlicher­weise als Mann eingestuft wurde.

Zusammen mit Timnit Gebru, einer Doktorandin aus Stanford, wollen die Frauen testen, wie gut aktuelle Technologien zur Gesichts­erkennung in einer Gesellschaft funktionieren, die aus Menschen mit verschiedenen Haut­tönen und Geschlechtern besteht – also in der Realität. Sie testen drei Firmen, die solche Technologien bereits aktiv vertreiben: IBM, Microsoft und die chinesische Firma Megvii. Die Resultate ihrer «Gender Shades»-Studie sind eindeutig: Die Technologie funktioniert fast einwandfrei bei weissen Männern und bis zu 30 Prozent schlechter bei Frauen mit dunkleren Haut­tönen. Diverse Medien greifen die Geschichte auf. Die Firmen versprechen, ihre Technologie zu verbessern.

«Bei uns zeigen sich die Mängel im System»

Dass drei schwarze Frauen auf die Mängel der Technologie aufmerksam geworden seien, sei kein Zufall, sagt Raji. «Wir gehören zu jener Gruppe, die nicht in den Daten abgebildet ist. Bei uns zeigen sich die Mängel im System.» Ein Jahr später führen Raji und Buolamwini eine zweite Test­runde durch. Als Kontroll­variablen nehmen sie die Technologien zweier neuer Firmen dazu: Amazon und Kairos. Diesmal leitet Raji die Untersuchung. Sie stellen fest: Während sich die Firmen aus der ersten Runde stark verbessert haben, weisen Amazon und Kairos ähnlich schlechte Resultate auf wie jene im Vorjahr. Kurz nach der Veröffentlichung nimmt die «New York Times» die Geschichte auf, denn die Studie hat brisante Implikationen: Amazon ist dabei, die fehlerhafte Technologie an die amerikanische Immigrations- und Kriminal­behörde zu verkaufen.

Dann wird es richtig hässlich.

Zuerst schickt Amazon hauseigene Forscher vor, die behaupten, die Resultate würden internen Studien wider­sprechen. Auf die Aufforderung, diese publik zu machen, geht der Konzern nicht ein. Stattdessen werden Buolamwini und Raji mit privaten E-Mails von höchster Stelle unter Druck gesetzt. Und Buolamwinis Betreuer am Massachusetts Institute of Technology, Ethan Zuckerman, versucht man ebenfalls zu beeinflussen.

Gleichzeitig vernehmen die Forscherinnen, dass die Firma intern offenbar fieberhaft versucht, die Technologie zu verbessern, während sie nach aussen jegliche Fehler abstreitet. Als auch noch Spitzen­forscher im Bereich künstliche Intelligenz in einem offenen Brief die Studie unterstützen und IBM verkündet, die eigene Software vom Markt zu nehmen, krebst auch Amazon zurück. Die Software wird zuerst suspendiert, dann bis auf weiteres vom Markt genommen. Im Juni 2021 reicht der demokratische Senator Edward Markey einen Gesetzes­vorschlag ein, der den staatlichen Einsatz von Gesichts­erkennungs­technologien weitgehend verbieten würde.

Die Geschichte mit Amazon habe ihr aufgezeigt, sagt Raji, «dass die Diskussion über Vor- und Nachteile von algorithmischen Systemen überflüssig ist, solange unklar ist, ob sie überhaupt funktionieren». Was klar ist: Fehlerhafte Technologien treffen überproportional oft Minderheiten, die ohnehin schon stärker unter Druck stehen. Die Gefahr ist, mit neuen Systemen alte Probleme zu wiederholen – und sie dank der multiplizierten Reichweite im digitalen Kontext zu verstärken. Das ist auch der Grund, weshalb sich Raji in ihrer Arbeit nur mit Algorithmen beschäftigt, die bereits auf die Bevölkerung losgelassen werden. Über ideale Standards zu sprechen, sei wichtig, sagt sie, aber zuerst müssten Firmen und Programmierer lernen, Verantwortung für jene Produkte zu übernehmen, die sie entwickeln und auf den Markt bringen. «Niemand spricht von idealen Resultaten. Es geht um minimalen Schutz.»

Ohne Ethik keine Technik

Mit ihrer Auffassung, dass ethische Verantwortung und Produkt­entwicklung nicht zu trennen sind, bringt Raji etablierte disziplinäre Grenzen ins Wanken. Seit Jahrzehnten gibt es in Forschungs­kreisen eine Diskussion darüber, ob eine Ingenieurin eine ethische Verantwortung für ihre Arbeit übernehmen kann und soll.

Die Antwort verläuft entlang zweier Lager. Im einen geht man von einer disziplinären Gewalten­trennung aus; ethische und philosophische Fragen werden an jene delegiert, die sich bestens damit auskennen. Anhänger des zweiten Lagers sind der Ansicht, dass diese Trennung eine gefährliche Illusion ist und dass jedes technische System implizit die Werte und Vorstellungen von jenen übernimmt, die es entwickelt haben. Bis jetzt verliefen die Trennlinien entlang disziplinärer Stränge: Ingenieurinnen und Programmierer auf der einen Seite, Soziologinnen, Wissenschafts­philosophen auf der anderen. Raji gehört zu einer kleinen, aber wachsenden Gruppe von Forschenden, die einen technischen Hinter­grund haben und sich dennoch für ethische Verantwortlichkeit aussprechen. Oder genau deshalb.

«Deborah ist eine starke Programmiererin, die keine Angst davor hat, unbequeme Fragen zu stellen. Das unterscheidet sie von vielen Zeitgenossen», sagt Janice Wait von der Mozilla Foundation, einer Stiftung, die Forschung im Bereich künstliche Intelligenz, Transparenz und algorithmische Verzerrung fördert. Wait kennt Raji aus diversen Projekten, in denen sie zusammen­gearbeitet haben. Was Raji auszeichne, sagt sie, sei ihr starkes soziales Engagement in, aber auch abseits der Forschung. So nimmt Raji auf Twitter Stellung zu aktuellen Fragen und erklärt unermüdlich und präzise, warum algorithmische Diskriminierung nicht nur eine Frage von Daten ist, sondern auch eine Frage der Politik.

Dass sich Techniker oft aus der Verantwortungs­debatte rausnähmen, liege nicht an bösem Willen, sagt Raji. «Sondern daran, dass das Verständnis dafür fehlt, welche konkreten Auswirkungen fehlerhafte Systeme haben können.» Entgegen der simplen und eleganten Logik eines mathematischen Befehls sind ethische Fragen oft vielschichtig, widersprüchlich und komplex. Und machen jede Aufgabe um ein Vielfaches komplizierter. Hinzu kommt, dass oft unklar bleibt, was Ideale wie «Fairness», «Gleichheit» und «Autonomie» im digitalen Kontext konkret bedeuten. Aus diesem Grund hat sich Raji entschieden, an die Universität zurück­zukehren und zu promovieren. Sie will untersuchen, wie maschinelles Lernen in der Theorie funktioniert und was das für die Probleme in der Praxis bedeutet. Ihr Ziel ist es, heraus­zufinden, wie Algorithmen so gut wie möglich evaluiert werden können – und welche Fehler bis jetzt nicht gesehen wurden.

Das kommt nicht nur gut an. Sie fühle sich mit ihrem Fokus oft fehl am Platz, sagt Raji und schaut auf ihre Beine, die in pink­farbenen Leggings stecken. Zum Beispiel, wenn ihr an der Universität mal wieder auffällt, dass sie die einzige Frau in ihrem Jahrgang ist. Oder wenn sie zufällig mithört, wie ihre Kommilitonen bewundernd über Elon Musk sprechen, sie von einem Professor gebeten wird, eine Einführung in das Feld von algorithmischer Verzerrung – algorithmic bias – zu geben, weil kaum jemand im Kurs je davon gehört hat. Oder wenn man in gemeinsamen Forschungs­artikeln immer zuerst vorschlägt, die Absätze zur Verantwortung zu streichen.

«Es wird oft vergessen, wie klein der Anteil kritischer Stimmen in unserem Feld ist», sagt Raji. Dass kritische Fragen zur künstlichen Intelligenz auch in der Wissenschaft oft nicht mehr als eine Randnotiz sind, liegt unter anderem daran, dass das Feld in grossem Umfang von Industrie­partnern abhängt, welche die Forschung mit grosszügigen Zuschüssen unterstützen – sowohl in Europa als auch in den USA. Dass sie zwischen­zeitlich bei grossen Technologie­konzernen wie Google gearbeitet hat, sieht Raji mittlerweile als Vorteil. «Es hilft zu verstehen, wie diese Firmen funktionieren.» Ethik spiele zwar sehr wohl eine Rolle – «aber halt nur so lange, wie sie dem Geschäfts­modell nicht in die Quere kommt».

Sie selbst glaubt nicht mehr an eine Selbst­regulierung der Branche, sondern sieht die Verbesserung des Status quo nur noch mittels rechtlicher Standards, Regulierung – und der Emanzipation von jenen Bevölkerungs­gruppen, die heute am stärksten unter den negativen Effekten von Algorithmen leiden. Deshalb hat sie Project Include an der Universität Toronto gegründet, eine Initiative, die Kinder und Jugendlichen aus einkommens­schwachen Bereichen technische Fähigkeiten wie Programmieren beibringt und ihnen helfen soll, jene Probleme technisch zu lösen, die ihre Gemeinschaft konkret betreffen. Damit soll die Basis für eine ausgeglichenere und fairere Zukunft geschaffen werden.

«Wir stellen nicht nur fest. Wir wollen verändern»

Hoffnungsvoll mache sie, dass es mittlerweile ein wachsendes Netz von Aktivistinnen und Initiativen gebe, die sich auf algorithmische Diskriminierung spezialisieren, sagt Raji. Sie erwähnt die Algorithmic Justice League, eine von Joy Buolamwini gegründete Organisation gegen algorithmische Diskriminierung, die britische Rechts­kanzlei Foxglove oder Non-Profit-Medien wie The Markup. Was diese auszeichne, sei neben ihrer Methode auch ihre Mission, sagt Raji. «Wir stellen nicht nur fest. Wir wollen verändern.»

Dass auch die US-Politik algorithmische Diskriminierung als Problem erkannt und wichtige Stellen im Bereich Technologie mit kritischen Stimmen besetzt hat – wie Lina Khan, Alvaro Bedoya oder Tim Wu –, beobachtet sie mit gemischten Gefühlen. Darin liege eine grosse Chance, sagt sie, «aber auch eine grosse Gefahr». Denn ultimativ sei ihr Anliegen mit jenem der grossen Tech-Firmen unvereinbar. Sie präzisiert: «Was gut ist für die Menschen, ist nicht unbedingt gut fürs Geschäft.» Je mehr Aufmerksamkeit ein Thema erhalte, je mehr Ressourcen hineinflössen, desto grösser sei die Gefahr der Verwässerung. Das Schlimmste, was ihrer Mission passieren könne, sei grosse mediale Aufmerksamkeit, blumige Reden und üppige Budgets – «und eine Bewegung, die für die Betroffenen keinen Unterschied mehr macht».

Hinweis: In einer früheren Version stand, staatliche Anwendung von Gesichts­erkennungs­software sei in den USA verboten. Richtig ist, dass ein entsprechender Gesetzes­entwurf eingereicht worden ist. Wir haben die Stelle korrigiert.