Die Republik ist nur so stark wie ihre Community. Werden Sie ein Teil davon und lassen Sie uns miteinander reden. Kommen Sie jetzt an Bord!

DatenschutzFAQErste-Hilfe-Team: kontakt@republik.ch.



Software Entwickler
·

Ich habe berufliche Erfahrung mit der Erstellung von maschinelles Lernen Systemen. Es gibt verschiedene Typen, aber hier sprechen wir von prädiktiven Systemen, also diejenigen die versuchen vorauszusagen, z.B. ob eine Banktransaktion legitim oder missbräuchlich ist.

Um ein erfolgreiches prädiktives ML-System zu bauen braucht man (kurz gesagt):

  1. Eine klar definierte und messbare Erfolgsfunktion: Wir sollten prüfen können ob das vom System gelieferten Ergebnis korrekt ist oder nicht.

  2. Daten die (a) das gesamte Anwendungsbereich des Systems abdecken und eine repräsentative Distribution darstellen und (b) relevante Faktoren beinhalten die einen Zusammenhang haben mit dem vorherauszusagenden Ergebnis. Die auswahl der Faktoren ist häufig eher eine Kunst die je nach Problemgebiet verschieden ist. Um erfolgreich zu Lernen braucht es nicht/wenig miteinander korrelierte Faktoren (sonst bringen sie keine zusätzliche Information).

  3. Ein mathematisches Modell mit unbekannten Gewichten für die Faktoren welche durch "trainieren" "gelernt" (approximiert) werden können.

  4. Validation die misst die Leistung des Modells auf Daten, die nicht für das Training angewendet wurden. Hier muss man besonders darauf achten dass die Leistung auch in speziellen Bereichen stimmt.

Bezogen auf Predictive Policing:

  1. Die messbare Erfolgsfunktion fehlt, weil verhindern dass die Taten stattfinden der Punkt ist, und dadurch kann man nicht lernen ob die Prädiktion richtig war oder nicht.

  2. Die Daten zu sammeln ist sehr schwierig weil man praktisch nicht alle Bürgern ausspähen kann (nicht jetzt zumindest...) und die Faktoren sind sehr schwierig auszuwählen. Der Besitz einer Waffe ist gerade ein treffendes Beispiel. Es ist relevant für Deutschland aber nicht für die Schweiz weil die gesellschaftliche Normen anders sind ((a) die Distribution ist nicht die Gleiche). Was soll man sonst verwenden? Herkunftsland - ist ein Ausländer straffälliger als ein Schweizer? Bildungsgrad - ist ein Azubi straffälliger als ein Dozent? Bei Menschen sind all diese Faktoren eng miteinander verflochten und in ständiger Wandlung (der Ausländer kann sich einbürgern lassen, der Azubi kann später einen Doktor machen)... Also im Fall von (b), sind sie nicht "sauber" und ihre Anzahl ist riesig.

  3. Wenn man so viele Faktoren hat, braucht man dementsprechend viele Daten um erfolgreich lernen zu können. Das würde bedeuten dass wir ein ständig-lernendes System brauchen, die je nach Region (was genau?) anders ist, der Zugang zu "allen" daten hat. Das ist nicht weniger als das Leben eines Menschen vorhersagen zu können.

  4. Auch mit den simpleren Models die wir bereits haben, wenn wir sie nicht mit einer repräsentativen Distribution validieren, werden sie einfach lernen was wir eingeben. Und wenn wir ihre Ergebnisse brauchen um Menschen zu verhaften, schaffen wir ein Zyklus weil die Verhaftungen später als neue Trainingsdaten dienen werden. Dadurch riskieren wir die Biases noch zu verstärken und sogar eine selbsterfüllende Prophezeiung.

Ich fürchte dass wir dadurch, diejenigen die am Rande sind noch stärker beobachten und unterdrücken und kriminalisieren. Entscheidend ist aber die Art der Intervention - werden wir diese Menschen streng beobachten, kontrollieren und diskriminieren oder für sie Perspektiven schaffen, Hilfe bieten?

Und wenn wir einen Schritt zurück machen, können wir uns fragen - was ist Kriminalität überhaupt? Zählen wir nur Raub und Mord dazu? Ist Geldwäscherei zu berücksichtigen? Umweltverschmutzung? Korruption? Ist es in Ordnung dieser Entscheid privaten Firmen zu überlassen? Und was wenn sie keine Daten zu einer Kategorie sammeln können/wollen?

Ich finde dass es Transparenz absolut notwendig ist und denke dass wenn wir solche Systeme einführen, dann sollten wir auch genau verstehen können wie sie funktionieren und sie ständig beobachten.

65
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Lieber Herr F., vielen Dank für Ihren wichtigen Kommentar. Soweit ich die eingesetzten Tools richtig verstehe, sind diese alles andere als "sophisticated" und Machine Learning passiert da schon gar nicht. Es handelt sich eher um klassische Wenn-Dann-Algorithmen. Selbst die Software PreCobs enthält da fest Determinanten wie Tatzeit-Intervalle. Die Software wird zwar angepasst mit weiteren Trainingsdaten und optimiert.

Aber auch ohne Anwendung von ML-Systemen gibt es rechtsstaatliche Defizite, wie eben die mangelnde rechtliche Grundlage für die Verarbeitung von persönlichen Daten potenzieller GefährderInnen.

Ich denke in Zukunft müsste die Schweiz und die Kantone beim Einsatz von ML-Systemen im öffentlichen Sektor genau solche Regeln wie Transparenz und in gewissem Sinne auch Nachvollziehbarkeit/Erklärbarkeit verbindlich definieren, wobei das wahrscheinlich auch ein Widerspruch darstellt (mit Machine Learning-Algorithmen in denen eben unklar ist, wie die Resultate zustandekommen). It's complicated.

15
/
0
Software Entwickler
·

Sie haben Recht. Was ich geschrieben habe (besonders Punkte 2, 3) gilt auch für einfachere statistische Modellen. Immerhin, mehr Transparenz ist sehr wichtig! Danke für den Artikel!

0
/
0
Tobias Oetiker
Full Stack Engineer
·
· editiert

Beim Lesen des Artikels fühlte ich mich stark an die vielen Beispiele erinnert die Cathy O'Neil im Buch Weapons of Math Destruction aufgeführt hat.

Sie beschreibt diverse Situationen in denen Entscheidungen von proprietären Algorithmen gefällt werden. Zum Beispiel den Fall einer Lehrerin aus New York der gekündigt wurde, weil die Lehrpersonenbewertungssoftware ihre Leistung (fälschlich) als ungenügend einstufte, und dass weder Einsprachen, noch Unterstützung durch andere LP etwas daran ändern konnten. Nicht einmal der genaue Grund der Kündigung konnte sie erfahren, da der Algorithmus in der Software welche die negative Bewertung ausspuckte ein Geschäftsgeheimnis des Softwareherstellers ist.

Ich denke, es wäre auch in der Schweiz sinnvoll über eine generelle Regulierung in Bezug auf den Einsatz von Algorithmen im Bereich Entscheidungsfindung nachzudenken. Wie O'Neil in ihrem Buch darstellt, kommen solche Systeme in ganz vielen Situationen schon heute zum Einsatz und führen dazu, dass jegliche Transparenz und Nachvollziehbarkeit in Bezug auf die Entscheidungsfindung verunmöglicht wird, weil die eingesetzten Algorithmen weder bekannt noch validiert sind.

36
/
0
· editiert

Warum war die Fichenaffäre Ende 80-er noch ein waschechter Skandal, während heute die Gesellschaft die absolute Sicherheit derart priorisiert, dass sie sich eine totale Überwachung geradezu wünscht oder diese zumindest akzeptieren wird?

32
/
0

Dafür gibt es in der Psychologie einen Ausdruck: Shifting Baselines
Jeder strickt sich aus seiner Erfahrungswelt was er im Augenblick unter "normal" versteht.

8
/
0
· editiert

Wobei manch Einem bei der Gewichtung seiner Erfahrungen, die Rationalität als Laufmasche abhanden kommt. ;-)

6
/
0
Hobby Klima Arithmetiker
·
· editiert

Selbst­verständlich gibt keine Software­firma den Algorithmus ihrer Analyse­software preis», sagt ein Fach­verantwortlicher eines kantonalen Bedrohungs­managements. Sie müsse damit ja Geld verdienen. Es sei auch nicht wichtig, diese Merkmale zu kennen

Da stehen mir die Haare zu Berge. Solche Angaben sind absolut essentiel. Wobei der "Algorithmus" ja wahrscheinlich ein machine learning Model ist. Und da ist der ganze Prozess wichtig: Wie und wo wurden die Daten gesammelt? Wie wurde sie bereinigt? Wie wurde das Modell trainiert? Da baut man ganz schnell unbewusst einen bias ein. Ein kleines Beispiel wie das bei der häuslichen Gewalt passieren könnte: Wegen kulturellem Stigma (andere Religionen) oder wegen Angst vor der Polizei (Asylsuchende bspw.) wird häusliche Gewalt nicht gleich häufig bei der Polizei gemeldet, dadurch tauchen diese Fälle auch nicht in der Statistik auf. Wenn man dann darauf ein Modell trainiert kommt das ganz schnell zu einem selbstverstärkendem Effekt: Angesetzt wird wo es die Statistik verbessert, nicht wo wirklich Fälle auftreten. Vernachlässigte Gruppen werden noch mehr vernachlässigt.

PS: Ich habe ja hier schon mal Werbung gemacht für das Buch "Data Feminism", aber in diesem Kontext muss ich einfach nochmals darauf hinweisen. Da geht's drum wie Data Science verschieden Gruppen nützt oder eben schadet, und wie man diese Techniken einsetzt um unterrepräsentierte Gruppen zu helfen. Gratis online: https://data-feminism.mitpress.mit.edu/

30
/
0

Vielen Dank für diesen wichtigen Beitrag.
Nur der "rechtsfreie Raum" scheint mir euphemistisch, illegal wäre treffender. Schliesslich behautet die Schweiz, ein Rechtsstaat zu sein: Grund und Grenze des staatlichen Handelns ist das Recht.

8
/
0

Ich hoffe, dass ich hier niemandem auf die Zehen trete, aber könnte es sein, dass die Schweizer Volksseele doch etwas dem Dürrenmatt-Zitat zuneigt?

Die Schweiz ist ein Gefängnis. Und nur im Gefängnis fühlt sich der Schweizer richtig frei.

Ich finden den ganzen Text der Rede absolut lesenswert im Kontext zu diesem Artikel:
www.juerg-buergi.ch/resources/Aktuell/Blog/Rede_Duerrenmatt.pdf

21
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Warum steht dieses Zitat nicht in unserem Artikel drin? Vielen Dank! :)

8
/
0

Ist das Referendum gegen das Antiterrorgesetz schon durch? Oder noch gar nicht ergriffen?

Grad die Einstufung oder die Fichierung ohne, dass Betroffene darüber informiert werden finde ich sehr störend.
Und dass man indirekt über solche Systeme gelenkt wird, kann ich nachvollziehen. ZB Risikobewertungen in der Entwicklung sind auch so: Die sind auch nicht absolut, aber weil eine Zahl da ist, muss man sich dann auch rechtfertigen, wenn man davon abweicht. Und das ist unbequem, also wird es vermieden.

21
/
0
· editiert

Ist das Referendum gegen das Antiterrorgesetz schon durch? Oder noch gar nicht ergriffen?

Nein, noch läuft die Unterschriftensammlung bis zum 13. Januar 2020:
https://wecollect.ch/projekte/refer…rparagraph

14
/
0

Ich will nicht zu picky sein, finde es schon interessant, dass Minority Report nicht eine 20-jährige Filmidee ist... Sondern eine Geschichte von 1956 von Philip K. Dick, der z.B. auch die Vorlage für Blade Runner geschrieben hat.

20
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Spannend. Leider kam ich um diese Film-Szene nicht "herum"...:-)

4
/
0

Die Anzahl von eigenständigen Ideen ist in Hollywood generell extrem überschaubar. Mir fällt im Moment grad kein Film ein, der nicht auf einer literarischen oder historischen Vorlage basiert...

0
/
0
Peter Philippe Weiss
Designer, Künstler, Dozent, Träumer
·

...und ich kenne kaum einen Schweizer Film, der sich überhaupt an einer literarischen Vorlage orientiert... ;)

1
/
1
Leserin
·
· editiert

Menschen sind ne komische Erfindung. Einerseits wollen sie Kontrolle über möglichst alles, andererseits demokratische Grundrechte. De Föifer und 's Weggli. Drum hab ich auch schon oft über die SVP lachen müssen, sooft sie nämlich uns Freiheit und Sicherheit zugleich versprach. Alles ist eigentlich verständlich, wenn man sich selbst ein wenig kennt. It's the system, stupid. Beim Überbau anfangen stellt uns jedesmal vor ein Dilemma.

19
/
0

Verbrecher und verbrecherische Organisationen nutzen die Möglichkeiten der Digitalisierung intensiv für ihre Untaten (z.B. Darknet, Verschlüsselungstechniken, weltweite Vernetzung u.ä.m.). Da ist es nur folgerichtig, wenn sich auch jene, die das Verbrechen bekämpfen (müssen), die Mittel der modernen Technologie nutzen. Es ist ein gegenseitiges Sich-Hochschaukeln, und dieser Prozess wird unaufhaltsam weitergetrieben. Wir werden uns wohl oder übel daran gewöhnen müssen, dass die Polizei KI-basierte Software zur Verbrechenbekämpfung einsetzt.
Umso wichtiger ist es, dass geordnete Verhältnisse geschaffen werden, sprich, ein gesetzlicher Rahmen, verbindliche Regeln und kantonsübergreifende Zusammenarbeit etabliert weden. Föderalismus ist hier so fehl am Platz, wie bei der Coronabekämfung (Tschuldigung für den Abstecher!). Fazit: die Aufarbeitung dieses wichtigen Themas muss Sache des Bundes werden, und zwar rasch. Der Auftrag an unsere hervorragenden technischen Hochschulen, eine schweizweit gültige Software zu entwickeln, sollte (muss) sofort erfolgen.

15
/
8

Warum sollten wir uns daran gewöhnen müssen, und warum ist "Minority Report"-ähnliche Software die polizeiliche Antwort auf Darknet und Verschlüsselung?

Die Grundprobleme von SW zur Risikoeinschätzung sind im Artikel gut beschrieben:

  • unklare/undurchschaubare Kriterien bei der Risikoermittlung (und ganz offensichtlich schlechte Adaptionsmöglichkeiten, sonst wäre der Waffenbesitz in CH ja kaum ein Red Flag)

  • Delegation der polizeilichen Verantwortung an die SW (rein menschlicher Effekt, es ist einfacher, den Empfehlungen der SW zu folgen als dagegen zu argumentieren und das Risiko zu tragen, eine falsche Einschätzung gemacht zu haben)

  • unklare Erfolgskontrolle (in beide Richtigungen: wurden Verbrechen aufgedeckt/verhindert welche effektiv passiert wären, wurden nicht etwa Verbrechen nicht verhindert welche mit klassischer Polizeiarbeit erkannt worden wären)

Zudem haben, wie man in den letzten Jahren auch bei anderen sogenannten KI-Systemen gesehen hat, solche Applikationen immer einen Bias basierend auf dem Mindset/der Kultur der Entwickler und der zum Trainieren verwendeten Datenbasis. Wollen wir wirklich basierend auf diesem Bias entscheiden lassen wer als potentieller Gewalttäter gilt und wer nicht?

16
/
0
Leser
·

Sehr guter Artikel zu einem wichtigen Thema, danke!
Welche Grenzen müssen wir bei der künstlichen Intelligenz ziehen? Das ist eine politische und philosophische Frage, welche dringend und breit diskutiert werden muss. KI hat nämlich kaum etwas mit Verstand und Vernunft zu tun.
Dazu lesenswert: „Künstliche Intelligenz und der Sinn des Lebens“ von R.D. Precht.

15
/
0

Und dazu jetzt (nochmal) den Artikel Cop Culture von Brigitte Hürlimann lesen. Achtung, kann zu gröberem Unwohlsein führen, und zum Nachdenken über Begriffe wie Rechtsstaat und Schweiz in dieser Kombination.

15
/
1

Und dann noch ans PMT-Gesetz denken und gute Nacht.

PS: Zum Referendum geht es hier lang -> https://terror-nein.ch/

6
/
0
Informatik-Ingenieur und Ökonom
·

Heikel in diesem Zusammenhang ist auch, dass wir dazu tendieren, Computern blind zu vertrauen. Gerade heute sah ich wieder eine entsprechende Studie in meinem Twitter-Feed. [1] Das ist nicht nur bei der Polizei heikel, sondern auch, wenn Banken mittels Algorithmen über eine Kreditvergabe entscheiden oder wenn Plattformen wie Google automatisierte Uploadfilter anwenden. Es gibt hier mehr "false positives", also zu unrecht gesperrte Inhalte, als man denkt. Wir dürfen ruhig etwas skeptischer sein, wenn uns "der Computer" etwas sagt.

[1] https://twitter.com/DegenRolf/statu…4660587522

6
/
1
System Engineer
·

Deutschland mit der Schufa ist da auch recht spannend.

0
/
0
System Engineer
·
· editiert

Danke @Adrienne Fichter für den Artikel. Von ihnen kommt in der Regel immer etwas, was ich sehr spannend finde.
Dank auch an die Autoren der Studie, sehr wichtige Arbeit.

3
/
0
Adrienne Fichter
Redakteurin @ Republik
·

Herzlichen Dank, Herr Z. Ich lese auch immer wieder gerne Ihre Kommentare zu meinen Texten. Und die Studie von Simmler et al. ist zweifellos ein wichtiges Standardwerk! Ich hoffe es löst in den Kantone eine Debatte aus.

1
/
0

Besten Dank für den Artikel. Ein wirklich sensibles Feld. Das gibt uns schon einen Vorgeschmack darauf, wie künftig "terroristische Gefährder" ermittelt werden könnten.

2
/
0
Peter Philippe Weiss
Designer, Künstler, Dozent, Träumer
·

Vielleicht ist das ein bisschen quer, aber ich bin davon überzeugt, dass es vor allem einen gesunden Menschenverstand von Polizeibeamten braucht. Wenn dieser vorhanden ist, kann eine solche Software eine wertvolle, ergänzende Hilfe sein. Transparenz ist wichtig und richtig, aber sie kann sehr schnell einen neuen bürokratischen Wasserkopf generieren. Es geht schlicht um Vertrauen. Und die Polizei ist als Institution dafür verantwortlich, das sie durch ihre täglichen Handlungen unser Vertrauen erhält bzw. wieder gwinnt. Dass die Schweiz ein bisschen (zu?) viel über Legitimationen spricht, sehen wir an der jetzigen Corona-Situation.

0
/
0