Die Republik ist nur so stark wie ihre Community. Werden Sie ein Teil davon und lassen Sie uns miteinander reden. Kommen Sie jetzt an Bord!

DatenschutzFAQErste-Hilfe-Team: kontakt@republik.ch.



Liebe Frau Fichter,
vom ethischen Standpunkt her alles ok, aber das technische Verständnis hinkt so sehr dass ich mich frage, wie Frau Wachter überhaupt in diesem Gebiet wissenschaftlich arbeiten kann. Dabei wäre es nicht einmal so schwer zu verstehen, wenn man nicht dauernd die Begrifflichkeiten durcheinander bringen würde - Stichwort "Algorithmus", das auch hier in der Republik immer wieder falsch verwendet wird.

Bei den genannten Beispielen handelt es sich um automatisierte statistische Auswertungen. Der dazu verwendete Algorithmus ist nicht entscheidend für das Resultat. Der Algorithmus findet einfach ein möglichst effektives Auswertungsschema um zu "diskriminieren" (im statistischen Sinn). Das Resultat lässt sich am besten mit automatisch generierten Excel-Sheets vergleichen, von Hand geschriebene Code-Zeilen sucht man da vergebens. Diese können durchaus so umfangreich sein, dass man lieber 600 Seiten Datenschutzerklärung durchlesen möchte, als das Auswertungsschema nachzuvollziehen.

Ebenso werden verschiedene Algorithmen, sofern korrekt angewendet, dieselben Diskriminierungsmerkmale ausarbeiten, solange diese in der Statistik vorhanden sind. Wenn man diese Methode also grundsätzlich erlauben will, muss man entweder die Verwendung der statistischen Daten einschränken, oder ein Korrektiv durch eine höhere Instanz schaffen.

Auf jeden Fall würde ich mich über eine präzisere Behandlung des Themas von Seite Republik freuen - etwas Aufklärung würde der Gesellschaft nicht schaden.

2
/
2
Adrienne Fichter
Redakteurin @ Republik
·
· editiert

Guten Abend Herr W.

Danke für Ihr Feedback! Was die begrifflichen Unschärfen angeht, da gebe ich Ihnen recht. Wir hätten da noch mehr zwischen deterministischen Auswertungen, Machine Learning, supervised, unsupervised Learning unterscheiden sollen. Dies haben wir auch in den Folgefragen gemacht, ich habe diese aber der Verständlichkeit halber weggekürzt, um breiter zu diskutieren (sonst wäre das Interview noch viel länger geworden).

(Ich bin nicht sicher, wo genau Ihrer Meinung der Begriff Algorithmen falsch eingesetzt wurde, aber mein Kollege Thomas Preusse hat zusammen mit der Wissenschaftsjournalistin Hanna Wick einen sehr aufschlussreichen Dreiteiler publiziert zu diesem Thema: https://www.republik.ch/2018/06/26/…e-blackbox)

Ich finde jedoch Sie tun Frau Wachter unrecht was das technische Verständnis angeht. Momentan wird ja auch in der EU die Frage heftig diskutiert, wie erklärbar Software sein muss. Dabei werden oft unrealistische Maximalanforderungen an Nachvollziehbarkeit proklamiert, was vor allem Programmierer und Public Interest Technologen sehr nervt. Denn es zeugt von mangelnedem Verständnis seitens der Politik und Ethik. Und vieles, was Software tut, ist zu einem bestimmten Zeitpunkt nicht mehr erklärbar. Das hat Frau Wachter ziemlich klargemacht.

Bei den genannten Beispielen ging es keineswegs nur um automatisierte Auswertungen, wie Sie behaupten. Nehmen wir das HR-Beispiel und erweitern das ein wenig: die Software hat das Ziel, "selbständig" BewerberInnen auszuwählen, die erfolreich aufgestiegen sind in ihrer jetzigen beruflichen Station. Die Software definiert Erfolg über lückenlose Beschäftigungsdauer und Promotion. Wie die Software zu diesem Zielwert kommt, wissen wir nicht. Sie wertet aus, erkennt Muster und sortiert dann irgendwann junge Mütter aus und wählt in jedem Fall Männer aus, die einen hohen Militärgrad haben auch wenn diese nicht befördert worden sind. Dass jetzt Mütter auch ohne Anspruchnahme von Mutterschaftsurlaub quasi von Anfang aussortiert werden werden, ist die Problematik, die Wachter mit den "reasonable inferences" diskutiert. Welche Datenmengen, mit welchen Lernmechanismen und mit welchen Proxies-Kollaterialschäden müssen erklärbar sein? Wie ethisch vertretbar muss eine solche HR-Software ausgestaltet sein, dass sie auf den Markt kommen darf?

100% erklärbare Algorithmen wird es aufgrund dieser inhärenten Logiken und verschiedenen Arten von Software-Entwicklung nicht geben. Insofern müssen wir - das postuliert Wachter als pragmatischen Mittelweg- einen anderen Weg geben, indem Variablen dem Konsumenten bekanntgegeben werden, wie bei deterministischen Auswertungen, etwa das Kreditvergabe-Beispiel (counterfactual explanations). Oder aber gewisse Systeme sollten gar nicht erst zum Einsatz kommen in gewissen Bereichen, wenn sie diskrimninierende Schlussfolgerungen anstellt, wie etwa das HR-Beispiel, das Mütter von Vorneherein aussortiert.
Ich denke Wachter deckt mit den Konzepten einige Beispiele ab, natürlich werden diese nicht für jede Form von Digitalilsierung geeignet sein (Automatisierung, Big Data, Machine Learning etc.), weil die Entscheidungsgrundlagen nicht klar benennbar sind und nicht alles wird legiferierbar sein.

Und klar was Sie angesprochen haben wird auch in der Algorithmenethik-Debatte diskutiert, etwa dass Trainingsdaten keinen Bias haben sollten. Doch das gehört nicht in die Erweiterung eines Personenrechtswerks (DSGVO Artikel 13-15 bezieht sich auf die betroffene Person selbst in Sachen Datentransparenz), hier wären in selbstregulierender Industriekodex oder Regulierung über Unternehmengesetzgebung zielführender.

Oder glauben Sie es hilft der Bürgerin, wenn sie ein Recht auf Herausgabe der Trainingsdaten hat?:) Genau diese Überfrachtung/Überforderung gilt es ja auch nach Meinung von Wachter zu verhindern.

5
/
0

Guten Abend,

da muss ich wohl etwas ausholen. Zu den Begrifflichkeiten:

Oft wird von Entscheidungen der Software oder der Algorithmen gesprochen - beides ist in diesem Zusammenhang falsch. Womit wir es zu tun haben sind laufende Instanzen der Algorithmen (Maschinen), mit zugehörigen Input-Daten bzw. internem Zustand. Ein Algorithmus selbst ist bloss eine unspezifische Lösungsanleitung für eine Problemstellung. Und die hat hier nichts mit der eigentlichen Wertung der persönlichen Daten zu tun.

Wie z.B. braune Schuhe gewertet werden steht weder im Algorithmus noch im Programm-Code, das könnte ja dann auch jeder Programmierer erklären und begründen. Dieses Auswertungsschema, wie ich es oben genannt habe, gehört zu den erweiterten Input-Daten des Auswertungs-Algorithmus', nicht zum Algorithmus selbst. Weil das Auswertungsschema jedoch automatisch generiert wird, ist es schwierig bis unmöglich, die Auswirkungen im Detail nachzuvollziehen.

In fast allen Fällen handelt es sich aber um optimierte statistische Vorhersagen, und zumindest die Optimierungsziele werden beim Generieren des Auswertungsschemas explizit gesetzt. Fairerweise sollten diese öffentlich gemacht werden müssen.

Allerdings löst das den Kern des Dilemmas nicht. Was uns zum HR-Beispiel führt:

Auch das ist ganz offensichtlich eine automatisierte Bewertung durch Auswertung der persönlichen Daten, mit der Annahme dass sich aus der statistischen Vergangenheit eine Vorhersage ableiten lässt (das Auswertungsschema). Wenn man Böswilligkeit ausschliesst, so gibt es grob folgende Erklärungen dafür, dass Mütter benachteiligt werden:

  1. Fehlerhafte Anwendung der Methode

  2. Die zugrundeliegenden statistischen Daten sind mangelhaft

  3. Die Art des Auswertungsschemas ist zu krude

  4. Mütter schneiden in der vorliegenden Statistik in Bezug auf die Optimierungsziele tatsächlich schlechter ab

In den Fällen 1.-3. liegt es im Eigeninteresse des Softwareherstellers, nachzubessern, da sonst die HR schlecht entscheidet. Im Fall 4. (und das dürfte je nach Optimierungsziel durchaus realistisch sein) muss man hingegen einen ethischen Entscheid fällen. Entweder man akzeptiert diese Diskriminierung, man verwirft die Methodik mit der statistischen Vorhersage komplett, oder man beschränkt diese auf ganz wenige, ausgesuchte Daten, bei welchen die Diskriminierung nicht auftritt.

Letzteres ist dann auch wieder gefährlich, weil sich die suboptimale Bewertung der Mütter auch einfach auf alle Frauen (potenzielle Mütter) ausdehnen könnte, wenn man entsprechende Daten weglässt. Sollte uns ja bekannt vorkommen...

Mein Fazit wäre also, dass wir weniger über ominöse Algorithmen diskutieren sollten, und mehr über die allgemeine Verwendung von Daten und statistischer Diskriminierung. Statistische Vorhersage ist nun mal per se diskriminierend.

7
/
1
· editiert

Ist gestern Abend spät und lange geworden, deshalb noch in Kürze:

100% erklärbare Algorithmen wird es aufgrund dieser inhärenten Logiken und verschiedenen Arten von Software-Entwicklung nicht geben.

Genau das ist eben Humbug, sorry! Die Algorithmen selbst sind komplett erklärbar, ebenso wie die verwendeten Optimierungsziele und Randbedingungen. Die sind alle von Menschenhirn geschaffen.

Nicht erklärbar sind die Auswirkungen der Auswertungsschemas, welche automatisch generiert werden. Das könnte z.B. der Bauplan eines neuronalen Netzwerks sein, oder ein Beziehungsnetzwerk mit gewichteten Kanten. Diese werden von Algorithmen als Daten verarbeitet, gehören aber nicht zu den eigentlichen Algorithmen.

Nun kann man freilich hingehen und das entgegen der gängigen Konvention anders definieren. Dann erhält man aber z.B. für jede andere Gewichtung der braunen Schuhe einen komplett neuen Algorithmus. Und Fakebook erschafft so für jede seiner Milliarden Benutzerinnen einen persönlich zugeschnittenen Algorithmus. Das ergibt ganz einfach keine brauchbare Definition.

Wenn Ihnen so etwas als Journalistin nicht intuitiv klar ist, meinetwegen. Aber bei Frau Wachter als Wissenschaftlerin finde ich solche Verständnislücken bedenklich.

1
/
1
Michel Rebosura
Ratsmitglied Project R Genossenschaft
·

Für den Schweizer Kontext sind die Beispiele in diesem Beobachter-Artikel instruktiv.

Darin kommt auch Dr. Cathy O’Neil vor, die Autorin von „Weapons of Math Destruction“ („Angriff der Algorithmen“), und die sagt:

Algorithmen sind Meinungen, in Codes eingebettet. Sie sind nicht objektiv.

Neben der Tatsache, dass sie nicht nur für Laien/User sondern manchmal auch für Spezialisten/Operator eine black box darstellen, ist der Umstand, dass wir „das digitale Gestell“ als neutral, objektiv, ja geradezu als natürlich oder selbstverständlich wahrnehmen bedenklich. Es bräuchte in dieser Hinsicht unbedingt auf allen Ebenen mehr Bildung und Aufklärung.

Algorithm Watch und das Oxford Institut of Information, sowie die mediale Aufklärung zu Stichworten wie Algorithmic transparency bzw. Algorithmic accountability, Explainable Artificial Intelligence oder Algorithmic Bias wie von Adrienne Fichter, sind der Anfang. Doch müssen diese Inhalte auch in die schulische Aufklärung fliessen, möchten wir denn daten-souveräne Menschen fürs digitalen Zeitalter bilden.

Zumal es schon die „statistische Diskriminierung“ gibt (etwa von Frauen im Arbeitsmarkt) oder allgemein, wie Adorno eindrücklich schilderte, das Problem der „soziologischen Stereotypisierung“, welche u. U. die gesellschaftliche reproduziert und verstärkt.

Anyway, vielen Dank Adrienne für den Einblick in eine spannende Arbeit einer spannenden Forscherin.

15
/
0

Michel Rebosura, Sie schreiben ja schon länger und denken sehr aktiv mit. Ihre Beiträge fand ich immer wieder echt gut (d.h. mit Mehrwert) - es freut mich deshalb nun zu lesen, dass Sie Ratsmitglied geworden sind!

5
/
0
Michel Rebosura
Ratsmitglied Project R Genossenschaft
·

Ich danke für die Blumen werte*r S. P.! Als jemand, dem die Förderung der Debattenkultur am Herzen liegt, ist es mir eine besondere Freude - und Ehre! - sowohl im Genossenschaftsrat als auch im Forum dafür zu sorgen, dass die "Republik" auch als res publica der Genossenschafter*innen alias Verleger*innen alias Leser*innen floriert.

1
/
0

Bis sich die Bringschuld bezüglich Datenschutzbestimmungen umgekehrt hat, ein Tipp wie man „schlechte“ Akteure einfacher erkennen kann ohne die 600 Seiten durchzulesen: das Browser-Addon Terms of Service; Didn’t Read empfohlen von PrivacyTools.

Terms of Service; Didn’t Read is an addon that aims to fix how “I have read and agree to the Terms” is the biggest lie on the web by grading websites based on their terms of service agreements and privacy policies. It also gives short summaries of those agreements. The analysis and ratings are done transparently by a community of reviewers.

11
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Vielen Dank, hab ich gleich installiert. Schade wurde die republik.ch nicht evaluiert, wir würden hoffentlich in der "grünen" Klasse landen. :)

3
/
0

Das ist ein meiner Meinung nach ein zuversichtlich stimmender Bericht aus Oxford. Die Krake wird wohl immer versuchen, einen Schritt früher aktiv zu sein. Umso unverzichtbarer ist es, dass Forscher interdisziplinär aktiv und auch bereit sind, sich in der konkreten Umsetzung von Normen und vor allem bei der Gestaltung von Rechtsnormen mitzuwirken. Resignation wäre das Scheitern von einem aufgeklärten Menschenbild.

5
/
0
Michel Rebosura
Ratsmitglied Project R Genossenschaft
·
· editiert

Ein Extrembeispiel, das leider hochaktuell ist: Die China Cables, die dem Internationalen Netzwerk investigativer Journalisten vorliegen, zeigen, wie mit Hilfe von Algorithmen Verhaftungen und Internierungen vorgenommen werden. Unter anderem auch mit einer dazugehörigen App namens "Zapya". Erfahrungen aus der "Peripherie", die nicht zuletzt bei der landesweiten Implementierung des Social Credit System auch im "Zentrum" Eingang finden sollen.

Human Rights Watch hat bereits Mitte dieses Jahres Chinas ["big brother app" der *integrated joint operations platform* (ijop)] (https://www.hrw.org/news/2019/05/01…rother-app), welche Polizei und Regierung zur Massenüberwachung verwenden, einem reverse engineering unterzogen. Und so transparent gemacht, wie das social engineering durch Überwachung und Internierung funktioniert.

Algorithm Watch ihrerseits berichtet, wie China ihr Know-how im sog. Identitätsmanagement inkl. Gesichtserkennung als Win-win-diplomacy in diversen (von Chinas "Belt and Road" abhängigen) afrikanischen Länder wie Zimbabwe implementieren. Und so als Testfelder nutzen, um ihre Technologien zu optimieren, bevor sie dann in China selbst als Ganzes zur Anwendung kommen (hier zum Bericht als PDF). Die Sorge seitens der Zivilbevölkerung ist natürlich, dass mit der Einführung von "Authoritarian Tech" deren Rechte und Demokratie-Bemühungen eingeschränkt werden.

Was hat das nun mit "uns" zu tun? Nun, was dort autoritär von oben oktroyiert wird, geschieht hier sozusagen von unten. Doch im "Überwachungskapitalismus" droht auch durch unseren automation und algorithmic bias ebenfalls ein nicht zu unterschätzender Autonomie- und Gerechtigkeitsverlust. Durch unseren (selbst-)optimierungswütigen "Solutionismus" werden wir sozusagen freiwillig in "das digitale Gestell" "gestupst".

5
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Danke Dir, Michel. (Algorithm Watch gehört zu meiner unverzichtbaren Wochenlektüre)

4
/
0

Herzlichen Dank für dieses sehr aufschlussreiche Interview. Es gibt mir einen wertvollen Einblick in die komplexen Zusammenhänge und ein gutes Gefühl, dass so kompetente und verantwortungsbewusste Menschen wie Adrienne Fichter und diese Forscherin sich um diese Fragen kümmern, die mich im Alltag nur beunruhigen, denen ich aber hilflos ausgesetzt bin. Ich finde auch die Haltung der Forscherin zentral, sich nicht nur um Wissen, sondern auch um Anwendbarkeit und Disziplinen-übergreifende Zusammenarbeit zu kümmern. Wohltuend erscheint mir zudem die Haltung die „hindurchtönt“, dass es nicht die Bösen und Guten gibt in diesem Spiel, sondern unterschiedliche Stakeholders mit unterschiedlichen Interessen, wo erst genaues Hinschauen, Dialog und Zusammenarbeit und klare Regeln zu einer gewünschten zukünftigen Wirklichkeit und Kultur führen.

4
/
0

Danke für dieses Interview!

Punkt 3 in der ersten Antwort versteh ich in Bezug auf staatliches Handeln nicht: ist es nicht geradezu zwingend, dass staatliches Handeln aufgrund von dokumentierten und nachvollziehbaren Regeln erfolgt (und diese Regeln in Gesetzen, Verordnungen, Kreisschreiben etc dokumentiert sind)? Diese dürfen auch ohne Algorithmen schon nicht geheim sein, sonst wird staatliches Handeln willkürlich, und keine PUK der Welt kann anschliessend die Sache aufarbeiten.

2
/
0

Ein paar hab ich noch :-)

  • Das Prinzip der "was wäre gewesen wenn"-Erklärungen ist ja relativ einleuchtend, aber was hat das mit dem Einsatz von Algorithmen zu tun? Ich würde ja heute schon die Erwartung haben, dass ich bei einem negativen Kreditentscheid von meiner Bank erklärt bekomme, warum er negativ ausgefallen ist (und eine Antwort wie "die Bonitätsprüfung ist negativ ausgefallen" nicht ausreicht). Dass sich hier private wie auch öffentliche Stellen in Zukunft nicht hinter "der Computer hat gesagt" verstecken dürften, ist dann nur die logische Folgerung.

  • Was meines Erachtens bei den "braunen Schuhen" dazugehört ist, dass diese ja unter Umständen ein Proxy-Wert für etwas anderes sein können (also wenn zum Beispiel im ursprünglichen Datenset mit welchem der Algorithmus trainiert wurde alle säumigen Schuldner braune Schuhe hatten wird der trainierte Algorithmus von braunen Schuhe auf schlechte Schuldner schliessen). Wie man solche Erkenntnisse im Nachhinein erheben (und kommunizieren) will, ist mir auf den ersten Blick etwas schleierhaft (defacto invalidiert es ja den eingesetzten Algorithmus)

  • Was im Interview etwas zu kurz kommt, ist die Big Data-Problematik. Solange nur eine Handvoll Parameter relevant sind, lässt sich die Entscheidung eines Algorithmus relativ gut erklären. Wenn es "dank" Big Data aber deutlich mehr sind, wird das irgendwann mal ziemlich unübersichtlich und intransparent. Sofern man dies nicht als Grund gegen den Einsatz solcher Methoden sehen will: welche konkreten Möglichkeiten gibt es hier, solche auf vielen Parametern beruhenden Entscheide zu begründen?

  • Diskriminierung ist ein breites Feld, die Antwort greift hier etwas zu kurz, gibt aber wohl die aktuelle Rechtslage wieder. Meines Erachtens geht ja primär darum, dass Menschen keine Nachteile für etwas erleiden was mit der Sache an sich nichts zu tun (kein Kredit wegen brauner Schuhe, schlechtes Social Scoring weil Videogamer, kein Zugang zu Bildung weil nicht-weisse Hautfarbe etc.). Womit wir wieder bei explizit oder implizit ausgewählten Proxies wären (das wäre glaubs mal nen eigenen Artikel wert)

  • «Okay, aber was muss nun der Techniker am kommenden Montag genau ändern? An welchen Parametern müssen wir schrauben?» -> darüber hätte ich im Interview auch gerne mehr gelesen :-)

3
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Hallo Patrick, danke für die vielen Fragen:) Zu Punkt 1: Ja, in der Schweiz ist das bei öffentlichen Angelegenheiten zwingend (in den Niederlanden, wo das Beispiel "Syri" vorkommt, weiss ich nicht). Artikel 5 des Verwaltungsverfahrensgesetzes verlangt zwingende Nachvollziehbarkeit und Erklärbarkeit, wie Entscheidungen zustande gekommen sind. Das gilt dann für Software die 1:1 direkt mit paar Klicks entscheidet ob Du nun Sozialhilfe bekommst. Was aber das zeitverzögert passiert, wenn nun die Sozialhilfefachkräfte einen Entscheid fällen auf Basis der Software`? Dann können sie sich auf den Standpunkt stellen, die Software hat eine Empfehlung ausgesprochen, man hätte die nötigen Abklärungen getroffen und fände, die Software hat recht. Dennoch fiel ein Mitarbeiter die finale Entscheidung. Und hier würde dann auch das Schweizer Gesetz womöglich nicht mehr gelten.

2
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Das Thema Big Data und Proxy-Variablen kam bei dieser Abschrift in der Tat zu kurz, absolut. Ob das Konzept der "reasonable inferences" hier greift, kann ich nicht genau herleiten. So wie ich Prof. Dr Sarah Wachter verstanden habe, müssten diese Proxies klar ausgeschlossen werden. Weil klar, es ist vielleicht "reasonable" für die Pharmaindustrie, also vernünftig, das Browsing-Verhalten zu beobachten, um Anzeichen von Alzheimer zu identifizieren. Also wenn jeder mehrfach eine bestimmte Website aufsucht. Aber was wenn sich herausstellt, dass alle betroffenen Nutzer auch noch jeden Tag dasselbe Wort googeln zum Beispiel "Kanufahren": Ist es denn auch reasonable hier bei allen Kanu-Fans auf einen Verdacht auf Alzheimerkrankungspotenzial zu schliessen und das dann so festzuschreiben in der Software? Wahrscheinlich nicht, und genau hier sieht sie die Hersteller in der Verantwortung.

2
/
0