Rassistische Software – sie zieht Google dafür zur Verantwortung

Manchmal braucht es nicht viel für eine Sinnkrise. In diesem Fall war es ein einziger Satz, der sie auslöste, am 2. Dezember 2020 (Ortszeit Kalifornien) getippt, um 20.54 Uhr auf Twitter gepostet, wenig später tausendfach geteilt. Verfasst wurde er von Timnit Gebru, einer der weltweit bekanntesten Forscherinnen auf dem Gebiet der künstlichen Intelligenz und Co-Leiterin des «Ethical AI»-Teams von Google – zuständig also für Ethik im Bereich künstliche Intelligenz.

Dass jemand wie sie – renommiert, starrsinnig, kritisch – für das Unternehmen arbeitete, wurde in Politik- und Wirtschafts­kreisen gerne als Beweis dafür gewertet, dass Techkonzerne an den Risiken ihrer Arbeit interessiert sind und sich weitgehend selbst regulieren können. Das alles änderte sich an jenem Mittwochabend, als die damals 37-jährige Forscherin in knappen Worten verkündete, was bis dahin undenkbar gewesen war: Sie war soeben entlassen worden.

Gebrus Entlassung markierte einen ähnlichen Wendepunkt für die Technologie-Konzerne wie vier Jahre zuvor der Skandal um die Wahlfirma Cambridge Analytica, welche die privaten Daten von Millionen von Menschen für Wahlkampf­zwecke missbraucht hatte. Nur fühlten sich diesmal keine Wähler um ihre Rechte betrogen. Sondern jene Forscherinnen, welche die Risiken von künstlicher Intelligenz untersuchen und in deren Erforschung eine zentrale Rolle einnehmen.

Dass jemand wie Gebru ohne Vorwarnung entlassen worden war, entfachte unter Kolleginnen und Experten Entrüstung, Ungläubigkeit und Panik. Denn Timnit Gebru war nicht irgendeine Angestellte. Sie war ein Vorbild: akademisch dekoriert, gemeinschaftlich orientiert, technisch versiert. Innert Stunden wurde eine Protest-Petition lanciert und tausendfach unterschrieben; internationale Medien berichteten; sogar Mitglieder des amerikanischen Kongresses verlangten eine Erklärung von Google.

Dass Gebrus Entlassung einen solchen Aufstand provozieren konnte, hat viel mit ihrem Aufstieg zu tun. Dieser beginnt im Jahr 1998, als ein Krieg zwischen Eritrea und Äthiopien Tausende Familien zur Flucht zwingt – auch jene von Timnit Gebru, die in Äthiopien geboren, aber eritreischer Abstammung ist. Gemeinsam mit ihrer Mutter stellt sie ein Flüchtlings­gesuch für die USA, wo bereits ein Teil ihrer Familie lebt. Aber nur ein Gesuch wird angenommen – das ihrer Mutter.

Die 15-Jährige muss stattdessen allein nach Dublin flüchten, wo eine ihrer Schwestern vorübergehend arbeitet. Die zwölf Monate, in denen sie im regnerischen Irland auf ein Visum für die Vereinigten Staaten wartet, sind eine Tortur. Das liegt nicht nur am Wetter, sondern auch an der ihr fremden Kultur. Irgendwann geht es Gebru so schlecht, dass sie ihre Mutter darum bittet, ins Kriegsgebiet zurückkehren zu dürfen.

Als sie schliesslich in die USA einreisen darf, trifft sie dort zwar auf besseres Wetter – doch die Heraus­forderungen bleiben. An der öffentlichen Schule in Somerville, einem Vorort von Boston, Massachusetts, werden ihre Spitzennoten in Mathematik und Natur­wissenschaften vom Lehrpersonal misstrauisch beäugt; Mitschülerinnen vertrauen ihr Vorurteile über heimische Afro­amerikanerinnen an. Die junge Timnit möchte von all dem nichts wissen, zieht sich zurück und verbringt Zeit mit Büchern und ihrem Klavier. Es wird sich auszahlen.

Nackte Panik

Dank ihren guten Noten schafft es Gebru an die Universität Stanford in Kalifornien, wo sie im Jahr 2001 ein Studium in Elektro­ingenieur­wissenschaften beginnt. Damit bleibt sie einer Familien­tradition treu. All ihre Schwestern sind Ingenieurinnen – genau wie es der früh verstorbene Vater war. Doch obwohl sie in der Disziplin reüssiert, ist Gebru hungrig nach mehr.

Sie findet schliesslich ihre eigene Leidenschaft im Informatik-Departement, wo sie im Team der renommierten Forscherin Fei-Fei Li im Bereich künstliche Intelligenz (KI) promoviert. Gebru interessiert sich für software­gestützte Bilderkennung und konzentriert sich auf die Schlüsse, die man mittels «intelligenter» Software aus Fotos ziehen kann. Mit diesem Fokus positioniert sie sich hervorragend für eine glänzende Karriere im Silicon Valley, dessen Start-ups nach Methoden wie ihren lechzen.

Aber zwei Schlüssel­momente erschüttern ihren Glauben an die Neutralität der Technologie grundlegend.

Das erste Mal passiert es im Mai 2016, als die Investigativ-Plattform Pro Publica eine Studie publiziert, die aufzeigt, dass eine von Polizisten angewendete Software zur Gesichts­erkennung überproportional oft People of Color (PoC) als mögliche Kriminelle identifiziert. Gebru hat sich schon immer für soziale Gerechtigkeit und für Minderheiten engagiert. Doch plötzlich tauchen Diskriminierung und Vorurteile in ihrer Arbeit auf; jenem Ort, den sie zuvor wegen seiner intellektuellen Klarheit und Präzision geschätzt hat. Jetzt geht diese Trennung nicht mehr auf.

Wenig später nimmt sie in Barcelona an einer der wichtigsten Konferenzen in ihrem Feld teil. Gebru stellt mit Schrecken fest, dass sie unter 8500 Teilnehmerinnen genau sechs andere Personen mit dunkler Hautfarbe findet. Sie beschreibt ihre Reaktion später als «nackte Panik». Dass ein aufstrebendes Feld, das die gesamte Gesellschaft berühren wird, von so einer homogenen Bevölkerungs­gruppe geprägt wird, macht ihr Angst. Auf Facebook schreibt sie: «Ich habe keine Angst, dass Maschinen unsere Welt übernehmen. Mich sorgt das Gruppendenken, die Engstirnigkeit und die Arroganz in der KI-Gemeinschaft. Wenn viele aktiv von dessen Kreation ausgeschlossen werden, dann wird diese Technologie wenigen dienen und vielen schaden.»

Gebru will etwas ändern. Und gründet mit sechs Gleich­gesinnten die ACM Conference on Fairness, Accountability and Transparency, eine wissenschaftliche Veranstaltung, die sich mit Fragen rund um Fairness und Verantwortung beschäftigt. Doch das ist noch nicht alles: Mit ihrer Kollegin Rediet Abebe ruft sie «Black in AI» ins Leben; eine Organisation, die sich für Vielfalt und Arbeitsrechte im Bereich der künstlichen Intelligenz einsetzt. Beide Projekte schlagen ein wie eine Bombe. Während ACM innert kürzester Zeit zu einem zentralen Ereignis im Wissenschafts­betrieb avanciert, schafft es «Black in AI» bereits im ersten Jahr, die Anzahl von nichtweissen Teilnehmerinnen an offiziellen Veranstaltungen im Feld zu vervielfachen.

Der zweite Schlüsselmoment geschieht, als Gebru Joy Buolamwini kennenlernt, die am Massachusetts Institute of Technology doktoriert. Buolamwini will beweisen, dass Gesichtserkennungs-Technologie eine viel weniger genaue Präzision bei People of Color aufweist als bei Menschen mit hellerem Hautton. Dafür muss sie eine ausgewogene Gesichts­datenbank entwickeln. Es ist ein aufwendiges Unternehmen – und Gebru, die mittlerweile eine Post-Doc-Stelle bei der Forschungs­abteilung von Microsoft hat, bietet ihr sofort ihre Hilfe an. Gemeinsam mit Buolamwini und der Studentin Deborah Raji steckt sie unzählige Stunden Arbeit in das Projekt.

Als dieses zwei Jahre später in der «Gender Shades»-Studie resultiert, bringen die Frauen damit einige der grossen Tech-Unternehmen in Verlegenheit – und sich selbst branchenweit ins Gespräch. Wenig später veröffentlicht Gebru das Papier «Datasheets for Datasets», welches aufzeigt, wie man Datensätze dokumentieren und dadurch transparenter machen kann – damit Skandale wie jene um die einseitig trainierten Programme zur Gesichts­erkennung in Zukunft nicht mehr geschehen.

Einzigartige Vielfalt

Ihre Arbeit fällt auf. Und beschert der jungen Forscherin ziemlich schnell ein lukratives Jobangebot. An einem «Black in AI»-Event wird sie von Jeff Dean und Samy Bengio angesprochen – beides sind grosse Namen im Forschungs­feld. Und beide arbeiten beim Tech-Giganten Google. Gebru hat gemischte Gefühle. Doch sie muss pragmatisch sein. Denn in einem jungen Feld wie künstlicher Intelligenz spielen unternehmens­eigene Forscher eine zentrale Rolle. Das liegt auch daran, dass viele Universitäten nur spärlichen Zugang zu den Unmengen an Daten haben, die Privat­unternehmen wie Google oder Facebook kaum extern zur Verfügung stellen. Dennoch warnen sie diverse Kolleginnen vor der Arbeit in einer Firma, bei der die Zahl von PoC bei den Vollzeit­angestellten im einstelligen Prozent­bereich liegt. Gebru wäre die erste schwarze Frau in der gesamten Forschungs­abteilung.

Als ihr Margaret Mitchell eine Stelle als Co-Chefin in ihrem «Ethical AI»-Team bei Google anbietet, sagt Gebru zu. Denn Mitchell hat nicht nur einen beeindruckenden Leistungs­ausweis – sie ist auch ähnlich beseelt wie Gebru und war schon zwei Jahre davor zu Google gestossen, um ein Kompetenz­zentrum für Ethik und Fairness im Bereich der künstlichen Intelligenz zu schaffen. Zusammen wollen die Frauen ein «Ethical AI»-Team aufbauen, das seinem Namen gerecht wird. Sie rekrutieren Soziologinnen und Anthropologen, Menschen aus verschiedensten Kreisen und Kulturen. Ihr Ziel: ein dynamisches Arbeitsumfeld schaffen, das durch seine einzigartige Zusammen­stellung einen innovativen Zugang zu Problemen und Lösungen eröffnet. Sie reüssieren; das «Ethical AI»-Team wird zu einem der vielfältigsten und interdisziplinärsten im ganzen Unternehmen.

Das bekräftigt auch Alex Hanna, die als eine der ersten Sozial­wissenschaftlerinnen ins Team rekrutiert wurde und sich sofort zu einem Gespräch über ihre ehemalige Chefin bereit erklärt. Sie sagt: «Was Gebrus Arbeit von jener vieler anderer unterscheidet, ist ihre Fähigkeit, über technische Kritik hinauszugehen.» Während die meisten Ingenieure sich auf technische Probleme konzentrierten, habe sie stets die grösseren Themen im Blick. «Statt zu fragen, wie man Datensätze verbessert, fragt sie: Für welche Zwecke werden diese gebraucht? Wer hat sie entwickelt und mit welchem Ziel? Und wollen wir diese überhaupt?»

Im Unterschied zu vielen anderen habe Gebru von Anfang an grossen Wert auf Inter­disziplinarität gelegt und stets die Menschen ins Zentrum gestellt, «besonders diejenigen, die keine eigene Lobby haben». Hanna weiss, wovon sie spricht. Die promovierte Soziologin ist auch eine LGBTQ*-Aktivistin, die sich für die Rechte von Transpersonen einsetzt und Datensätze auf Geschlechts-Stereotypen untersucht. Ohne Gebru und Mitchell, sagt sie, wäre sie kaum bei einem Technologie­unternehmen wie Google gelandet.

Die Eskalation

Es ist ihr kompromiss­loser Einsatz für die Schwächeren, der Gebru auszeichnet. Und dieser ist auch der Grund, weshalb sie sich innerhalb des Unternehmens immer mehr Feinde macht. Sie gilt als konfrontativ, leidenschaftlich, einschüchternd, und sie eckt immer wieder an. Dass sich ihre Arbeit dennoch positiv auf das Unternehmen auswirkt, liegt auch daran, dass sie sich immer genau überlegt, wie sie sich am effektivsten einbringen kann.

Trotzdem hat sie letztlich das Gefühl, nicht gehört zu werden, was bei ihr mehr und mehr Unmut auslöst. In einem schriftlichen Austausch mit der Republik beschreibt sie den Grund für ihre Frustration; statt einen offenen Dialog habe sie eine Kultur erlebt, in der «die Führungs­kräfte immer recht haben und dein Einfluss an deiner internen Position gemessen wird». Gleichzeitig seien Angehörige von Minderheiten oft in wenig prestigereichen Positionen – «und haben so kaum eine Chance, je etwas zu beeinflussen». Eine Ausnahme in der Führungsetage ist ihr direkter Vorgesetzter Samy Bengio, der sich unermüdlich vor das Team stellt. Doch die Forscherin ist desillusioniert. Sie schreibt: «Es gab so viel Geschwätz über Vielfalt und Inklusion, aber auch so viel Heuchelei.»

Die Eskalation bahnt sich Ende November 2020 an. Gebru erhält eine Mail aus der Geschäfts­leitung mit der Aufforderung, ein von ihr verfasstes Forschungs­papier entweder zurückzuziehen oder ihren Namen zu entfernen. Diese Studie, die Gebru zusammen mit drei anderen Forscherinnen – unter anderem der renommierten Linguistin Emily Bender – verfasst hat, befasst sich kritisch mit «large language models». Das sind KI-Modelle, die mit unzähligen Textdaten gefüttert und trainiert werden, mit dem Ziel, selbst Texte generieren oder gar interpretieren zu können.

In ihrem Papier warnen die Forscherinnen vor übermässigem Enthusiasmus und nennen diverse Risiken, die man in Bezug auf «large language models» unbedingt in den Griff kriegen müsse. Dazu gehören unter anderem ein hoher Energie­verbrauch und dessen Folgen für die Umwelt, sexistische oder rassistische Textmuster, die sich durch die Trainings­daten in die Technologie schleichen können und dann reproduziert werden; aber auch die Gefahr von missbräuchlicher Anwendung; beispielsweise im Herstellen von Falsch­informationen.

Gebru zweifelt weder an der inhaltlichen Qualität des Artikels, noch sieht sie formale Probleme damit. Sie und ihre Co-Autorinnen hatten alle internen Vorschriften eingehalten und waren zudem an eine renommierte KI-Konferenz eingeladen worden, um ihr Papier zu präsentieren, was im wissenschaftlichen Feld einer intellektuellen Qualitäts­prüfung gleichkommt. Anstatt auf die Forderungen der Geschäfts­leitung zu reagieren, macht sie einen Gegenvorschlag: Sie sei bereit, ihren Namen als Google-Mitarbeiterin aus der Studie zurückzuziehen – wenn man ihr erkläre, von wem die Einwände stammten und künftig für transparentere Prozesse sorgen würde. Andernfalls, so Gebru, würde sie ihre Kündigung anbieten, sobald sie einen ruhigen Übergang in ihrem Team gesichert hätte.

Wenige Tage später wird Gebru von einem schockierten Teammitglied kontaktiert und gefragt, ob sie ihren Job gekündet habe. Verwirrt öffnet sie ihren Posteingang. Dort findet sie eine Mail aus der Geschäfts­leitung mit der Aussage, man könne ihrer Forderung nicht nachkommen und würde ihre Kündigung deshalb per sofort akzeptieren. Ihr direkter Vorgesetzter, Samy Bengio, weiss von nichts. Gebru verkündet die Nachricht auf Twitter. Und tritt damit ein Erdbeben los.

Denn die Neuigkeit über die harsche Reaktion von Google schreckt nicht nur Aktivistinnen und Kollegen auf. Sie ergibt auch keinen Sinn. Einerseits sind sich Expertinnen, die Gebrus Artikel gelesen haben, einig: Der Text ist nicht besonders kontrovers. Andererseits sind auch die Begründungen von Google seltsam. So liess Jeff Dean, Leiter der gesamten internen Forschungs­abteilung und selbst ein geschätzter Forscher, verlauten, Gebrus Artikel habe den internen Qualitäts­standards nicht entsprochen und nicht genügend relevante Forschung zitiert – trotz 158 Quellen.

Für viele Beobachter ist es nicht überraschend, dass Google nicht glücklich war mit dem kritischen Ansatz seiner Angestellten. Dass man sie so schonungslos feuerte, hingegen schon.

Ausserdem wirft auch der interne Begutachtungs­prozess Fragen zur Unabhängigkeit solcher Forschung auf. Lucy Suchman, emeritierte Professorin, die selbst Erfahrung in Technologie-Unternehmen hat, sagt dazu: «Eine interne, privatwirtschaftliche Begutachtung bringt ein ernsthaftes Risiko für Zensur mit sich, die über Fragen zu intellektuellem Eigentum weit hinausgeht.» Sie ist nicht die Einzige. Auch die KI-Ethik-Forscherin Anna Jobin, die am Alexander-von-Humboldt-Institut für Internet und Gesellschaft forscht und zu den «100 Brillant Women in AI Ethics» gehört, fragt: «Wenn sich eine Firma nicht mal die Mühe gibt, sich um die Co-Leiterin von ‹Ethical AI› zu kümmern, was heisst das wohl für den Rest von uns?»

Mit der Aktion gerät Google in eine Negativspirale. Am selben Tag wird bekannt, dass die Firma amerikanisches Arbeitsrecht verletzte, weil es eine externe Firma zur illegalen Überwachung seiner Angestellten beauftragt hatte, mit dem Ziel, Gewerkschafts­bemühungen zu vereiteln. Experten vergleichen Googles Praktiken gegenüber den internen Forscherinnen mit jenen von Tabak- und Ölfirmen, deren interne Forscher schon seit jeher als verlängerte Arme der Marketing­abteilungen gelten und jegliche wissenschaftliche Glaubwürdigkeit verloren haben. Das bekannte Branchen-Magazin «Wired» fragt: «Kann Big Tech interne Kritik verkraften?»

Und Gebru? Die nutzt den Aufwind, um ihr eigenes Forschungszentrum aufzubauen.

Weg aus den Fängen der grossen Unternehmen

Auf den Tag ein Jahr nach ihrer Kündigung erscheint sie an der «Women in AI Ethics»-Konferenz und erzählt von ihrem neuen Plan. Gebru hat ein eigenes Forschungs­institut gegründet, welches sie «Dair» nennt, was für «Distributed AI Research Institute» steht und ausgesprochen wird wie dare, also: wagen. Und genau das möchte sie. Sie will es wagen, die Forschung neu zu denken, die Finanzierung, aber auch die Forschungs­fragen und Methoden. Dair wird von Stiftungen finanziert und ist inhaltlich unabhängig. Dennoch ist es Gebru ein grosses Anliegen, dass sich das Institut so rasch wie möglich selbst finanzieren kann.

Gebru meint es ernst mit dem neuen Weg, den sie mit dem Institut einschlägt. Ihre ersten Teammitglieder sind aus aller Welt, mit einem Fokus auf Afrika und dem globalen Süden. Sie kündigt an, viel weniger zu publizieren, langsamer zu sein «und», sagt sie und lächelt, «deshalb wahrscheinlich auch viel mehr Ressourcen zu verbrennen». Sie will ein Gegengewicht setzen zum nicht enden wollenden Publikations­druck und den unzähligen Arbeits­stunden, welche die meisten Forscher als notwendiges Übel zu akzeptieren gelernt haben.

Die Lektion aus ihrer eigenen Geschichte sei nicht, dass man interne Forscherinnen nicht ernst nehmen dürfe, sagt Gebru. Vielmehr müsse der Fokus geändert werden. «Es muss bessere Kontrollen geben.» Und man müsse neue Wege finden, unabhängige Forschung zu garantieren. Dazu gehöre auch, dass man sich aus den finanziellen Fängen der grossen Unternehmen löse, die noch immer die wichtigsten Konferenzen im KI-Ethik-Bereich sponsern und sich somit stets einen Sitz am Entscheidungs­tisch sichern – auch wenn ihnen Ethik und Fairness eigentlich ziemlich egal seien.

Auf die Frage, ob sie sich mittlerweile als Märtyrerin sehe, antwortet sie, das sei nie ihr Ziel gewesen. «Vielleicht hat Google mich zu einer gemacht.» Aber wofür sie lieber stehen würde, präzisiert sie, «wäre Veränderung».