Die Republik ist nur so stark wie ihre Community. Werden Sie ein Teil davon und lassen Sie uns miteinander reden. Kommen Sie jetzt an Bord!
Zum Unglück vom 18. March 2018 in Tempe, Arizona, folgende Klarstellung: Es ist zwar richtig, dass das autonome Lenksystem Frau Elaine Herzberg zwar rechtzeitig erkannte, aber sich nicht entscheiden konnte, ob es eine Velofahrerin, eine Fussgängerin, oder einfach Plastiksäcke sah, und deswegen den Entschluss zur Notbremsung zu spät fasste. Alle drei waren richtig. Es hätte aber auch so noch gereicht, um schwere Verletzungen zu verhindern. Bloss war das eine «Testfahrt». und weder Notbremsung noch Warnung des «Safety Drivers» war dem System möglich (Quelle: Wikipedia).
Der wirkliche Skandal an der Sache ist also nicht die Rolle der KI, sondern wie zum «Test» dieser KI unsichere Versuchsfahrten unternommen wurden und leider immer noch werden. Was OpenAI mit ChatGPT gemacht, ist genauso skandalös: es ungetestet auf die Menschheit loszulassen, ohne sich vorher von seiner Unbedenklichkeit zu versichern.
Wir müssen lernen, mit der Technologie umzugehen und darüber diskutieren, wie wir sie Nutzen/ Einsetzen wollen. Deshalb sind solche Artikel so wichtig: um die Grundkonzepte der Technologie zu erklären, Argumente zusammenzufassen und Diskussionen anzustossen. Danke
🙏
Wohltuend, dass dieser Artikel sich mit den heute realen KI-Fragen auseinandersetzt, währen andere von der Superintelligenz faseln.
Wir haben uns Regeln fürs Zusammenleben gegeben:
Nicht lügen. Niemanden wegen seiner Hautfarbe ausschliessen.
Die meisten dieser Regeln beachtet ChatGPT nicht.
Wenn wir diese Regeln aufgeben, wird unser Zusammenleben bitter werden.
Ich staune über die hohe Zustimmung hier. Aber F. W. hat Recht. An der Faktentreue des ChatGPT wird laufend gearbeitet. Und was den Vorwurf des Lügens bzw. des Bullshiting angeht, ist ebenfalls klar zu widersprechen. Nicht nur gibt es Genres, in denen das Lügen sozusagen zum Tagesgeschäft gehört, denken wir nur etwa an die Werbung, auch sind bei diesem Chatbot die Quellen offensichtlich klassifiziert. Fragen Sie, einfach als ein Beispiel, nach den Ursprüngen des Yoga. Sie erhalten nicht die abstrusen Antworten von heutigen prahlenden Yogaanbietern, zum Beispiel Yoga sei schriftlich seit 3000 v.Chr. belegt, sondern die historischen Fakten.
Widerspruch. Ich behaupte GPT 4 beachtet diese Regeln konsequenter als die gesamte Menschheit zusammengenommen. Die Menschheit versucht es seit abertausenden von Jahren. Mit durchzogenem Resultat. Und während sie auf heutigem Niveau stagniert, entwickelt sich GPT in atemberaubendem Tempo weiter.
Schon nächstes Jahr wird es besser sein. Signifikant besser. Und übernächstes Jahr... und in drei Jahren...
Es gibt schon einige Forschung zu diesem Thema.
"It is well established by now that large LMs exhibit various kinds of bias, including stereotypical associations, or negative sentiment towards specific groups. Furthermore, we see the effects of intersectionality, where BERT, ELMo, GPT and GPT-2 encode more bias against identities marginalized along more than one dimension than would be expected based on just the combination of the bias along each of the axes."
"A third category of risk involves bad actors taking advantage of the ability of large LMs to produce large quantities of seemingly coherent texts on specific topics on demand in cases where those deploying the LM have no investment in the truth of the generated text. These include prosaic cases, such as services set up to ‘automatically’ write term papers or interact on social media, as well as use cases connected to promoting extremism. "
Aus: On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
Sehr guter Beitrag, danke. Die Republik schafft es wieder einmal, ein hochaktuelles, technisches Thema relativ gut auf den Punkt zu bringen.
Eine Ergänzung: diese Systeme werden grösstenteils mit (einer Auswahl von) Texten aus dem Internet optimiert. Im Internet gibt es viel Bullshit. Dabei werden auch immer mehr generierte Texte enthalten sein, sprich zukünftige Generationen von Chat-Modellen werden auch damit gefüttert. Wie die Qualitätsentwicklung beeinflusst wird, wenn die Modelle ihren eigenen Bullshit futtern, wird sich zeigen.
Hallo Herr A.
sehr gut erkannt, nach dem flooding des Internets ist das spätere Trainieren der AIs mit ihren eigenen Inhalten das zweite grosse Problem, über das man so gut wie gar nichts weiss. Beide Problemen könnte man begegnen, indem man die erzeugten Texte kenntlich machen würde. Leider ist dies bisher nicht geschehen und wird auch in Zukunft wahrscheinlich nicht geschehen.
Meine Vermutung ist, dass das Trainieren der AIs mit ihren eigenen Daten zu einer verengung des "Realitätstunnels" führt: Die AI wird noch weniger verstehen, dieses Falschwissen aber noch vehementer verteidigen. Die Anwendungen auf denen KI basiert werden mehr und mehr despotischer erscheinen..
Leider ist dies bisher nicht geschehen und wird auch in Zukunft wahrscheinlich nicht geschehen.
Sehe ich auch so. Die Auswirkungen des «Dogfooding» kann ich schlecht abschätzen, ich würde aber sicher eine Verschlechterung der Qualität voraussagen. Dem könnte man zum Beispiel mit für ein Thema relevanten, kuratierten Quellen begegnen, welche vom Modell zusammengefasst/analysiert/aufbereitet werden. Wichtig ist, GPTs als Tool und nicht als Orakel zu begreifen.
Ich bin mit allen Punkten einverstanden. Nur, wie sollen wir in der Bildung mit diesen neuen Tool umgehen? Chatbots werden ja nicht nur zum Vergnügen genutzt, sondern auch für schriftliche Arbeiten. Deswegen ist es jetzt wichtig, dass Schüler:innen und Studierende verstehen,
wie diese Texte generiert werden und
wie man richtig promptet um keine generalisierende Antworten zu erhalten und
für welche Teile/Kapitel Chatbot genutzt werden kann und für welche auf keinen Fall.
Dasselbe gilt für Dozierende: auch bisher schon „wusste“ man, ob ein Text nicht von der betreffenden Schülerin kam, aber meistens hatte man genug Fachwissen und Gespür um im Internet die Quelle zu finden. Mit den Chatbots ist die Suche nach Plagiaten obsolet geworden (zurzeit nicht wirklich möglich). Auch wenn man weiss, dass man gerade einen vergoldeten Bullshit vorgesetzt bekommen hat (zurzeit noch am kalifornisch enthusiastischen „Tonfall“ der KI-Trainer:innen erkennbar), hat man als Lehrperson im Nachhinein wenig Handhabe. Eine Lösung wäre, dass man die Chatbots unbedingt für das eigene Fach austestet und neue Prüfungsformate findet, die Komplexität, Krestivität und Kontext beinhalten.
Meine Erfahrungen:
Die Chatbots eignen sich bestens für den inklusiven Unterricht, als Rollenspiele vor Prüfungen (auch mündliche) oder um in einer Fremdsprache zu üben. Sie übernehmen die Arbeit von Assistenten bei Formalien und Strukturierung von Wissen und haben deshalb eine demokratisierende Wirkung. Jedenfalls so lange bis keine zahlende Apps mit KI verknüpft werden.
Was mir gefällt, ist dass Sprachmodelle die eindimensionalen Bewertungsmuster entlarft. Standardisierte Fragen zu beantworten ist kein kritischer Skill, einen plausiblen Text einzureichen auch nicht wirklich (etwas mehr, aber eben: ChatGPT).
Fähigkeiten und Wissen eines Menschen zu beurteilen ist gar nicht so einfach. Meinen Beobachtungen nach wird oft eine Prüfungsmethode gewählt, die möglichst einfach zu bewerten ist, nicht möglichst gute Ergebnisse liefert. Die aktuelle Entwicklung erfordert es, dass sowohl Studierene als auch Dozierende sich aktiver beteiligen. Ein Professor hat auf Hacker News eine Idee vorgestellt: er lässt von ChatGPT Aussagen oder Fragen generieren. Die Studis müssen dann Fehler und Ungenauigkeiten darin finden. So muss man sich aktiv mit dem Stoff auseinandersetzen und lernt dabei gleich auch noch, nicht alles was gut klingt, für Bares zu nehmen.
Gibt natürlich noch unzählige weitere Möglichkeiten. Verschwinden werden die Modelle nicht mehr, also geht es darum, damit möglichst sinnvoll umzugehen.
Das von dir beschriebene Problem existiert m.E. schon länger. Ich habe als Schüler mehrfach erlebt, dass die Form stärker als der Inhalt bewertet wurde, vor allem natürlich in den Sprachfächern.
Wenn ich einen Aufsatz schreiben soll, dann will ja meine Lehrperson erkennen, ob ich die Sprache beherrsche, nicht primär, ob ich die Sprache als Mittel einsetzen kann, um inhaltliche Zusammenhänge zu transportieren. Wenn das so bleibt, dann wirst du keine Chance haben, einem Chatbot-Aufsatz eine schlechte Bewertung zu geben. Sie beherrschen die Sprache ja bestens.
Als konkrete Beispiele habe ich folgende Erlebnisse mit der Schule gehabt: wir mussten in der Oberstufe einmal einen Heimaufsatz über ein Ferienerlebnis schreiben. Ich nahm mir vor, das sehr blumig und wie aus einem Ferienprospekt zu tun, was mir so gut gelang, dass ich prompt des Plagiats angeklagt wurde - natürlich auch, weil ich in der Hetze sehr viele Flüchtigkeitsfehler machte - ich hatte wie häufig nicht wirklich sehr früh mit dem Schreiben begonnen. In einer beaufsichtigten zweiten Arbeit konnte ich die Zweifel der Urheberschaft dann ausräumen und erhielt dann eine leicht bessere Note für meine erste Aufgabe, natürlich wurden alle Fehler streng benotet...
Als zweites Beispiel habe ich erlebt wie im Gymnasium die Deutschnote bei einigen Kollegen nach dem Wechsel der Lehrperson dramatisch gefallen war und bei mir deutlich gestiegen. Die neue Lehrperson hatte neben Deutsch auch Mathematisch studiert und war sehr an den Inhalten interessiert, die wir jeweils ausgearbeitet hatten.
Die Anforderungen an Lehrpersonen ist sehr hoch und wird noch zunehmen. Auch die Lehrpläne müssten wohl umgestellt werden, damit Sprache nicht alleine behandelt wird, sondern immer zusammen mit ihrem Zweck, der Vermittlung von Wissen oder Lebenserfahrung oder dem Austausch von Ansichten, Theorien und Meinungen.
Genau! Der Schreibprozess MUSS mitbewertet werden und die Hilfsmittel ausgewiesen werden ohne Notenabzug.
Ich habe mit den Klassen schon GPT-Texte benoten lassen, nach meinen „alten“ Kriterien, und die Jugendlichen waren mega frustriert, dass diese Texte nie unter die Note 4.5/4.75 fielen, obwohl sie inhaltlich nicht gut waren. Vom Inhalt her waren die Aufträge von den Schülerinnen viel besser bearbeitet worden.
Ich habe hier noch eine weitere Ergänzung mit Erfahrungen (meiner Tochter): seit ChapGPT 3 verfügbar ist, nutzen einige Schüler (ja, ausschliesslich männliche Jugendliche) dies, um ihre mündlich Note zu pushen. Durfte das selbst miterleben, keine Frage, wo nicht nach wenigen Sekunden die Hand hochschnellte und druckreife Antworten geliefert wurden. Die Lehrpersonen haben durchs Band keine Ahnung, in der Klasse wissen es alle.
Ich fände es immens wichtig, dass Vor- und Nachteile von solchen System auch in der Schule Thema sind: Wo macht der Einsatz Sinn, bietet Unterstützung? Was muss man kritisch betrachten? Was wird sich verändern? Was sollte aufgrund dieser neuen Entwicklungen verändert werden (Regulierungen, Unterricht etc.)?
ChatGPT und weitere ähnliche Systeme bieten so auch eine weitere Möglichkeit, Unterricht (inkl. Prüfungen) zu überprüfen und anzupassen: mehr Gewicht auf Analyse, Erkennen von Zusammenhängen, Beurteilen von Fakten etc. legen statt Wissen abfragen.
Das wird im Moment gemacht, glauben Sie mir. Wer Bescheid weiss, gibt Weiterbildungen an ahnungslose Kolleg:innen. Das darf nicht sein, dass wegen GPT die Leistungen unserer Schüler:innen nicht mehr richtig bewertet werden können.
Das Problem hatten wir seit 2-3 Jahren schon in den Fremdspachen: gewisse eingereichte Texte waren offensichtlich mit DeepL und Google Translate und sogar auf OneNote selber übersetzt worden und tönten fantastisch. Nur waren es eben nicht die Texte der Jugendlichen und wir mussten mit der Benotung umdenken.
Regulierungen und Verbote sinds hwierig und unfair, denn die teuren KI-Apps werden ev. weniger entdeckt und dann bestrafen wir nur jene, die wir erwischen.
Ich denke, man muss es mit den Klasen thematisieren, Probleme und Grenzen aufzeigen und vor allem neue Prüfungsformen anwenden, wie Sie vorgeschlagen haben
Chatbots als neutrale Maschinen einzuordnen («einfach eine Aneinanderreihung von mathematischen Operationen») finde ich aber genauso zu kurz gegriffen, wie sie als «denkende Wesen» zu begreifen. Alle breit verfügbaren Systeme dieser Art richten sich nach Konzerninteressen.
Am dreistesten finde ich die Namensgebung der Schöpfer von ChatGTP: OpenAI. Da ist gar nichts mehr open. OpenAI ist heute alles, was es versprochen hat nicht zu sein: Konzerngeleitet, undurchsichtig, profitorientiert.
Antworten von ChatGPT sind genauso wenig eine neutrale Abbildung der Welt wie es Suchresultate bei Google sind.
Man liest derzeit viel kritisches über ChatGPT. Teilweise sicher zu recht. Wobei ich sagen muss: Seit GPT-4 (verfügbar z.B. in der Plus Version von ChatGPT) ist die Qualität der Antworten nochmals deutlich besser geworden. So hat mir das System etliche Fragen zu ganz unterschiedlichen Themen durchaus differenziert und inhaltlich korrekt beantwortet.
Die Probleme mit dem Halluzinieren, der Vorwurf der inhaltlich nicht immer korrekten Aussagen, der Mangel an echter Kreativität, die Frage nach dem Weltverständnis – alles durchaus berechtigte Fragen.
Nur: Ist es nicht auch so, dass uns diese neuen generativen KI-Systeme in gewisser Weise den Spiegel vorhalten?
Ist es nicht so, dass auch bei uns Menschen der nächste Satz, das nächste Wort, bloss eine Funktion der vorhergehenden Sätze (der eigenen und derjenigen des Gesprächspartners) sowie des im Leben trainierten Wissens ist?
(Ich denke dabei daran, dass auch wir den Faden verlieren können – oder beim Klavierspiel bei einem Fehler von vorne beginnen müssen, um wieder in den Flow zu kommen – jedenfalls die nicht so talentierten Pianisten unter uns.)Ist es nicht so, dass auch wir Menschen dazu tendieren, zu halluzinieren? Dass wir manchmal nicht so recht wissen, was wir wirklich wissen – und was wir einfach nachplappern?
Ist es nicht so, dass auch wir Menschen gar nicht wirklich kreativ sein können, da auch unser Output immer eine Funktion dessen ist, was wir in unserem Leben alles an Input aufgenommen haben? Inspiration nennen wir das dann zuweilen – klingt besser, ist aber eigentlich auch nichts anderes als das Kombinieren von bereits existierendem.
Könnte man also viele der Vorwürfe, die man derzeit KI-Systemen wie ChatGPT macht, nicht auch uns Menschen machen?
Ich glaube, ein Problem ist, dass wir in einem gewissen Sinn gegenüber Gedrucktem oder eben den von einem KI-System produzierten Texten "autoritätsgläubig" sind, viel stärker als gegenüber einem menschlichen Gesprächspartner, weil wir das mechanisch Produzierte bzw. die Maschine für neutral halten - was sie aber NICHT ist! Sie reproduziert und potenziert Verzerrungen, die wir bei unseren Mitmenschen vermuten und erwarten und (im besten Fall) kritisch hinterfragen. Wir müssen das unbedingt auch gegenüber der KI lernen.
Spannende Fragen. Ich sehe ChatGPT als Werkzeug. Als geniale Erfindung möglicherweise. Vermutlich waren die Menschen, die den Hammer erfunden haben, auch total begeistert und wollten alles mit dem Hammer machen, bis sie zum ersten Mal ein Fadenknäuel entwirren mussten.
Aber wer ist hier das Werkzeug von wem? Der Chatbot von uns? Wir vom Chatbot? Wir von Superreichen? Wir von kollektiven Systemen? Wir von Mikroorganismen?
Spiegel finde ich faszinierend. Aber sie geben nur verkehrte Antworten.
Für mich macht es grossen Sinn, über die Grenzen des Werkzeugs ChatGPT nachzudenken. Als kritisch denkender Theologe finde ich alles höchst verdächtig, was die Attribute „(nahezu) göttlich“ und „klare, verständliche Sätze“ auf sich vereint. Dass Webinhalte, die mit Hass generiert wurden, von ChatGPT als Informationsquellen benutzt werden, lässt mich aufhorchen.
Ich würde das nicht als Vorwürfe titulieren, sondern als wichtigen Versuch, dem Werkzeug seinen Platz zu geben.
Super Kommentar! Einige Antworten auf Ihre Fragen – oder zumindest Ansätze dazu – finden Sie in einem meines Erachtens äusserst spannenden Interview, das kürzlich der Physiker Helmut Linde mit dem Hirnforscher Raul Muresan geführt hat:
Das sehe ich ziemlich ähnlich. Auch wir reflektierten Menschen sehen uns als ein ganz besonderes Wesen. Ein Wesen voller Licht, Humanität, Liebe und magischer Kreativität. Ein lebendiges Wesen, auch wenn es niemand mehr laut sagt: von Göttlichkeit gesegnet.
Deshalb wird eine künstliche Intelligenz gegenüber dem Menschen immer minderwertig sein. Sie lügt, sie täuscht vor oder weiss nicht was sie sagt. Sie macht Fehler, auch kurz nach der Geburt noch, wie kläglich. Kreativ? Ist das blosse Neu-Arrangieren von altem Tand etwa kreativ? Nur wir Menschen sind kreativ. Kreativ ist was nach unseren Regeln der Kunst erschaffen wurde. Kann eine KI etwa einen Instagram-Filter anwenden? Oder einen Roman à la Dostojewski schreiben? Jeder Mensch kann das. Nur die KI nicht. Oder sie macht Fehler. Oder wenn sie es kann, dann entstammt es nicht dem göttlichen Funken, der nur dem Menschen innewohnt. Seinem pre-frontalen Kortex.
Eine KI, hahaha. So kläglich. Nicht mal richtig rechnen kann sie. Dabei kann das jeder Mensch. Gleich nach der Geburt. Und wenn er dafür länger braucht, Bücher und Daten um zu lernen braucht er keine. Nein! Der Mensch doch nicht. Er macht das mit seiner körperlichen Erfahrung, er lernt das ganz ungekünstelt im ÖV oder beim Apéro mit den Kollegen. Er fährt mit seiner sensiblen Hand über eine Baumrinde, und lernt dabei Rechnen. Ganz natürlich.
Der Mensch ist intelligent. Er ist zwar ein Säugetier. Und sein Gehirnvolumen ist beschränkt. Aber der Mensch wird immer das intelligenteste Wesen bleiben. Das spürt jeder Mensch. Selbst der intelligenteste von allen.
KI - pah, das ist doch nix. Ein Hype. Nächstes Jahr, während wir uns alle ganz normal mit unseren Romanen, unseren mathematischen Theoremen, unseren Softwareprojekten und der Optimierung von Lithium-Ionen-Akkus beschäftigen und unsere achte Sprache lernen. Dann werden wir alle sehen, was KI für ein flaches Strohfeuer ist und uns vergewissern können, wie haushoch überlegen unsere göttlich-organische Seele allen niedrigen Versuchen ist, unsere edle humanistische Herrschaft vom Thron zu stossen.
Einen Schritt zurueck. Wir generalisieren, es gibt sogar Leute, welche sich wie ein Chatbot verhalten, naja, fast. Wahr oder Falsch ist nicht auf deren Liste, nur was grad nützt. Nicht nur irgendwelche Leute, sie koennen sogar in der Mitte der Aufmerksamkeit stehen und sogar Präsident sein. Also, .. generell .. nicht immer alles glauben, egal woher es kommt.
Ein rundum erhellender, „menschlicher“ und tiefsinniger Artikel! Danke vielmals.
Merci Ihnen für diese Worte 🙏
Herzlichen Dank für diesen Beitrag. Diese KI ist mir suspekt und fremd. Nun hab ich einen kleinen Einblick bekommen. Ganz wunderbar finde ich den Vergleich dazu, wie die Kinder Sprache lernen. Dieses Thema ist mir sehr nah und es wurde wunderbar erklärt, einfach so nebenbei. Alles das Erfahrene macht mir die KI nicht symphatischer. Es isr mir bewusst, dass ich mich weiter informieren und auf der Hut sein muss. Ich hoffe, dass das mit den Lernen durch das Spiel ganz viele Eltern, Lehr- Betreuungs-und Erziehungspersonen hat aufhorchen lassen.
Merci, Frau Bär, für Ihren Beitrag!
Warum machen sie am Anfang Werbung für Google? Sie könnten auch swisscows (eine Schweizer Firma), Bing, qwant und sicherlich andere nennen.
"Künstliche Intelligenz" ist ein Wort, das etwas suggeriert, was nicht ist. "Algorithmus" wäre wohl ein neutrales und damit treffenderes Wort.
Spannend ist das Thema aber auf jeden Fall. Und langfristig wird es wohl sehr viele Teile des Lebens beeinflussen.
Hallo Anonym 4,
Danke für Ihr Feedback.
Das ist selbstverständlich keine Werbung, sondern die direkteste Art, Leser:innen klar zu machen, was gemeint ist. Sehr viele von den Menschen, die diesen Artikel lesen, werden Swisscows nicht kennen, Qwant auch nicht, Bing...vermutlich auch nicht :).
Deshalb «sogenannt» künstliche Intelligenz.
"Algorithmus" trifft es aber auch nicht (mehr):
Was wir hier haben sind Neuronale Netze, da wurde kein Algorithmus programmiert, sondern das Neuronale Netz lernt selbsständig anhand von Trainingsdaten.
Der Begriff "Algorithmus" impliziert, dass hier jemand einen Regelsatz definiert hat, den man prüfen und ggf. abändern kann. All dies ist noch "falscher", als es der Begriff "künstliche Intelligenz" ist. Aber ja, der Begriff "künstliche Intelligenz" ist faktisch falsch
Schöne Sätze bilden können auch Werbetexter, Heiratsschwindler und Politiker. Nichts Neues also, das Problem sind nicht die schönen Sätze, sondern das Bedürfnis des Menschen nur schöne Sätze hören zu wollen.
Mit der gleichen Begründung („der ChatGP nutzende Mensch ist das Problem, nicht ChatGP“) werden in den USA tragbare Schusswaffen verteidigt: Waffen töten nicht, Menschen töten. Ein bisschen gar einfach, nicht?
Leider nicht einfach, aber letztlich wahr. Ich sträube mich nicht gegen Regelungen, im Gegenteil. Aber solange notorische Lügner wie Trump und Putin die Welt regieren können, ist es eine Illusion zu glauben mit einem Verbot eines Informationsmediums, das gelegentlich daneben liegt, diese Welt zu schützen oder zu verbessern. Bots brauchen einen Beipackzettel in denen die Algorithmen offengelegt und die Inhalte durch Quellenangaben verifizierbar sind.
Ich schlage vor künstlich intelligente Maschinen konsequent zu versachlichen: das Chatbot, es …
Das scheint mir eine gute Idee Herr Peter.
Im heutigen Beitrag sind Sätze zu finden wie:
"Chatbots tun so, als wären sie etwas, was sie nicht sind." Das tönt alsob DAS Chatbot Bewusstsein hat.
Andere Beispiele: "...aber ihn kann gar nicht kümmern, ob das Geschriebene wahr ist"
"Chat GTP hat keine Vorstellung davon, was eine Lüge ist."
"Chat GTP versteht nicht was es schreibt"
Marie-José Kolly hat klargestellt, dass es beim "wortgewandten Wunderkind" um eine MASCHINE ohne ethischen Fähigkeiten handelt.
Die obigen Beispiele zeigen meiner Ansicht nach auch, wie stark die Tendenz ist diese Maschine zu vermenschlichen.
Auch ganz spannend: was macht ChatGPT in Sprachen, die weniger Textquellen haben und höchstwahrscheinlich nicht bewusst trainiert wurden?
-> ChatGPT erkennt Rätoromanisch, kann holprig in und von Romanisch übersetzen (mindestens so gut wie die einzige ML-Beta-Alternative, die explizit trainiert wurde) und beantwortet Romanische Fragen in holprigem Romanisch. Zwar vermischt ChatGPT in den Antworten "richtiges" Rätoromanisch mit Begriffen, die eher an andere lateinische Sprachen erinnern, aber Struktur, Grammatik und Orthografie sind nicht komplett verkehrt.
Für Kleinstsprachen können solche grossen Modelle, die nicht einmal explizit in dieser Sprache trainiert werden, einen digitalen Quantensprung darstellen. Erstaunlich.
GPT-4 schreibt Schweizerdeutsch fast so wie Sie und ich. Es vermischt aber einige ganz wenige hochdeutsche Wörter hinein.
Die Sache bei Sprache ist eben: Wenn man die Struktur von menschlicher Sprache versteht, dann braucht es nur ganz wenig Exposition zum Schweizerdeutschen, und schon kann das Sprachmodell Schweizerdeutsch.
Wahrscheinlich ist die Realität schon weiter, als es uns lieb ist! Natürlich nutzen SchülerInnen bereits GPT für Schularbeiten - und bekommen gute Noten für diese Arbeit von ihren nichtsahnenden LehrerInnen…
Wichtig ist, dass Mensch proaktiv den korrekten Umgang damit erlernt.
„Geflutet mit Scheisse“ - so kommen mir leider jetzt schon viele Menschen vor. Und macht das nicht die SVP oder die AfD, die CDU, die FDP auch schon ohne GPT sehr aktiv? Sie bauen in ihren Reden, mit ihren Tweets, mit ihren Plakaten eine Realität auf, die ihren Interessen dient.
Mir kommt PLURV immer wieder in den Sinn. Alle Texte, alle Aussagen sollten überprüft werden, ob es ein Pseudo-Experte sagt, ob Logikfehler enthalten sind, ob Unerfüllbare Erwartungen gestellt werden, wird Rosinenpickerei betrieben oder sind Verschwörungstheorien im Spiel?
Zu den Gesten: Tiere verstehen sehr wohl Gesten, Hunde verstehen Gesten besser als Worte. Zudem hat mein Hund eine klare Körpersprache (Geste), mit der er mir anzeigt, wo Fliegen sitzen (die ich dann erschlage).
ChatGPT sehe ich als „zugespitztes Internet“, die Möglichkeit zu Fehlaussagen oder Manipulation ist einfach immer da. Wir müssen den Umgang damit erlernen.
Künstliche Intelligenz ist eine ungewohnte Idee. Der Zustand der Erde, die ökologische, ökonomische und soziale Multikrise welche die menschliche Zivilisation an den Untergang treibt, ist das Produkt ganz menschlicher Gehirne. Was also ist Intelligenz?
Auch KI ist ein Produkt menschlicher Intelligenz. Leider wird diese durch Emotionen übersteuert, was in Schwarmdummheit endet, wozu ich auch grosse Teile der Digitalisierung (asoziale Medien!) und ChatGPT rechne.
Stimmt. Interessant: Kürzlich habe ich gelesen, dass irgend so eine KI-Maschine nach der Lektüre des letzten IPCC-Berichts zum Schluss kam, dass das Problem des Klimawandels viel grösser sei und schneller voranschreite, als wir glaubten. Ich fürchte, die Maschine hat recht.
Auf die Frage nach der Elektrolyse von Wasser zur Herstellung von Wasserstoff habe ich beim Test eines Textroboters (war ein Angebot in einem Artikel im Tagi) folgende Antwort erhalten:
„Energiebedarf zur Herstellung von 1 Kubikmeter Wasserstoff:
0,09 kg 4,0 bis 5,5 kWh/kg
= 0,36 bis 0,495 kWh
Heizwert für 1 Kubikmeter Wasserstoff berechnen:
0,09 kg 33,3 kWh/kg
= 2,997 kWh“
Wird die Existenz eines Perpetuum Mobile jetzt weiterverwendet im internen Zitatenschatz der KI oder gar von anderen KIs?
Ich verstehe nicht, wie diese Zahlen mit einem perpetuum mobile zusammenhängen sollen. Die obere Zahl bezieht sich auf elektrische Energie (wie sie für die Elektrolyse benötigt wird), die untere Zahl auf thermische Energie, wie sie bei der Verbrennung entsteht. Da es nicht auch nur ansatzweise möglich ist, aus 1 kWh thermischer Energie 1 kWh elektrische Energie zu erzeugen, haben diese Zahlen nichts mit einem perpetuum mobile zu tun.
5 kWh/kg ist krass falsch und mit diesem 10fach zu tiefen Wert liefe das Perpetuum Mobile sogar prozesstechnisch mit dem Wirkungsgrad von 40% eines Wasserstoffmotors (oder einer Brennstoffzelle) und lieferte ständig Energie.
Die Wärmepumpe ist ein Beispiel, wie mit wenig elektrischer Energie viel nutzbare Wärmeenergie erzeugt wird, es ist richtig, dass die „Qualität“ der elektrischen Energie sehr hoch ist und wenn es um die Nutzung geht, darf kWh nicht mit kWh gleichgesetzt werden.
Die Pläne in DE Wasserstoff zur Gebäudeheizung zu verwenden, sind reine Energieverschwendung. Anders als beim Einsatz einer Wärmepumpe, die die eingesetzte Energie vervielfacht, muss sogar 50% mehr elektrische Energie eingesetzt werden als aktuell durch den Gasverbrauch bereitgestellt wird.
Das Kernproblem ist der Name KI. Hierbei handelt es sich um keine Intelligenz im klassischen Sinne, sondern vielmehr um leistungsfähige Daten Interpreter (DI). Diese helfen dabei, Informationen zu sammeln und verständlich darzustellen, ohne selbst Intelligenz zu besitzen. Das bedeutet, dass der Fragensteller oder Nutzer am Bildschirm das Resultat verifizieren und prüfen muss. Ein DI kann jedoch eine grosse Hilfe sein, um Faktoren ausserhalb des eigenen Radars zu erkennen. Zudem können Texte schnell auf Fehler und Grammatik überprüft werden. Es kann auch schnell eine Basis zur Disskussion oder für einen Brief geschaffen werden.
Im Grundsatz finde ich den Artikel gut, vor allem dass er versucht zu erklären wie Chat GPT funktioniert, dann erschliesst sich vielleicht der einen oder anderen Person automatisch warum man auf nahezu alles eine Antwort bekommt, auch wenn diese gar nicht funktionieren kann.
Finde aber der Artikel geht teilweise zu fest in philosophische Themen rein, die soweit ich weiss, nicht komplett beantwortet sind bzw. zuerst einmal definiert werden müssten, bevor man den Begriff salopp verwendet.
Als einzelnes Beispiel "Offensichtlich weiss der Bot nicht, ob seine Antworten wahr sind". Erstens ist der Begriff der Wahrheit schon schwierig zu umfassen aber noch wichtiger: Das Wissen die meisten Menschen auch nicht. All diese Unwahrheiten welche mir die Eltern erzählt haben (sie wussten es nicht besser), aber auch in der Schule (weil der Wissensstand der Lehrpersonen nicht aktuell war) und das selbst noch an der Universität. Mir geht es aber nicht darum jetzt auf Begriffen herum zureiten, sondern mehr darum, dass hier ein Schwarz/Weiss zwischen Mensch/Maschine erklärt wird, das ich so in einigen Fällen nicht sehe.
Noch ein Punkt zum Spielen. Alpha Zero haben die einen vielleicht schon vergessen. Aber dort spielt die Maschine herum und ist damit zu Ergebnissen gekommen die besser und interessanter sind als alle Menschen auf der ganzen Welt zusammen. Konkret haben die Menschen inzwischen ihr Spiel angepasst. Einen zweiten interessanten Punkt dazu finde ich folgenden: Man hätte ja schon bei Schach denken können, da jetzt wo die Maschine besser ist als Menschen, die Menschen enttäuscht sind und aufhören zu spielen (solcherlei Sentiments lese ich immer wieder), aber dass ist nicht passiert, ich habe sogar das Gefühl Schach sei in den letzten Jahren populärer geworden (YouTube, ...).
Noch ein Punkt den viele Leser:innen zu stören scheint, dass KI/AI kein guter Begriff ist. In der Informatik wurde oft der Begriff "Maschinelles Lernen" verwendet und bis vor paar Jahren konnte man damit leicht die Schwätzer enttarnen (die die eben die Begriffe KI/AI verwendet haben). Inzwischen ist aber leider der Begriff KI/AI so Mode dass man davon wohl nicht mehr wegkommt. Im Englischen mag man das noch verzeihen, weil der Begriff Intelligence umfangreicher ist als Intelligenz (siehe z.B. Militärbegriffe).
Was gewinnen wir wirklich, wenn wir ganze Texte von Chatbots schreiben lassen? Zeit? Wohl kaum, wenn wir an der Wahrheit des Inhalts interessiert sind, denn die Überprüfung ist sehr aufwändig. Effizienteres Lernen? Auch eher nicht, denn wenn ich einen Text selber geschrieben habe, habe ich mich intensiver und vom Lerneffekt her nachhaltiger mit dem Inhalt auseinandergesetzt, als wenn ich ihn nur gelesen und vielleicht ein wenig überarbeitet habe.
KIs können enorm nützlich sein, wenn sie unsere Fähigkeiten zuverlässig erweitern oder ergänzen, zum Beispiel in der medizinischen Diagnostik. Aber sollten wir sie für uns schreiben (oder sprechen, malen und musizieren) lassen, wo diese Tätigkeiten doch so eng mit unserem Denken und unserer Wahrnehmung verknüpft sind? Da sollten wir aus meiner Sicht aufpassen und uns nicht vom Spiel mit den Algorithmen täuschen lassen. Und auf die Gefahr hin, dass man mir Whataboutism vorwirft: Ich komme nicht umhin, mir statt besserer Chatbots mehr Entwicklungen für brennendere Themen zu wünschen - zum Beispiel zur Mitigation des Klimwandels.
Die Kernfrage: Weil ich etwas nicht weiss, frage ich. Und ich erhalte eine Antwort. Ob sie richtig ist, kann ich aber nur wirklich beurteilen, wenn ich die richtige Antwort weiss. Aber dann muss ich gar nicht erst fragen. Ich kann höchstens wissen, dass der Chatbot mir eine falsche Antwort gegeben hat, wenn diese offensichtlich Unsinn ist – wie im Beispiel mit den Scherben in der Babynahrung.
Es gibt im wesebtliche zwei Strategien um damit umzugehen (schon vor ChatGPT):
Ich muss die Quellen einer Aussage kennen, damit ich die Vertrauenswürdigkeit einer Quelle beurteilen kann. Leider zeigt die Praxis, dass ChatGPT teilweise seine Quellen erfindet! Das ist übel.
Ich muss einzelne Aussagen immer in einen Gesamtkontext stellen und mit anderen Quellen abgleichen
Das ist so nicht richtig. Eine Anwort finden ist schwieriger, als eine Antwort zu überprüfen. Das ist immer noch schwieriger als einfach eine Antwort zu erhalten, aber Fakten zu überprüfen sollte grundsätzlich immer gemacht werden, wenn man mit diesen Fakten etwas tun will.
vielleicht könnte da der Begriff Haftung wirksam werden.
(S. 5 des Positionspapieres Ein Rechtsrahmen für Künstliche Intelligenz der Digital Society Initiative, Universität ZH 2021:
"Eine zentrale Herausforderung beim Einsatz algorithmischer Systeme ist die Haftung im Fall eines Schadens. Zwar finden die Normen des allgemeinen Haftpflichtrechts auch auf solche Systeme Anwendung; der Nachweis der Voraussetzungen für die Haftung von Betreiber*innen ist allerdings mit Schwierigkeiten verbunden, insbesondere beim Verschulden. ....")
ich vermute, dies ist die einzige Weise, die Maschinenbetreiber einzubinden.
Es gibt viel Raum zwischen richtig und falsch - nur geschlossene Fragen führen zudem zu geschlossenen Antworten und viele Kinder Antworten auf 'Schoggi oder Bonbon?' mit 'Ja!'
Viele Fragen betreffen Präferenzen und Aktionen. Diese vorherzusagen ist eine kommerzielle Aufgabe maschinellen Lernens - Stichwort Preisgestaltung oder 'Leute kauften auch dies' im Internet.
Klar, werden die bots auch Unsinn schreiben. Das tun die Menschen aber schon immer. Wenn ich einen Menschen um Rat Frage, ist die Wahrscheinlichkeit, dass die Antwort falsch ist, bestimmt höher, als bei chatgpt. Auch wir haben nicht alles, was wir wissen selber erlebt. Wir haben Richtiges und Falsches gelernt, wie die bots.
Andererseits können Menschen, die bisher nur Fachwissen hatten, dieses nun verbreiten, indem sie es eingeben und mit Hilfe des bots Fachartikel schreiben. Damit werden universitäre Fähigkeiten plötzlich für nicht Akademiker verfügbar. Insofern sehe ich ausgleichende Möglichkeiten zugunsten von weniger gebildeten Menschen.
Das Problem ist die Skalierung: chatGPT kann in Minuten ganze webrings aus Falschinformationen zusammenbauen. Er kann innerhalb von Stunden Diskussionsforen wie dieses hier mit bullshit fluten, das sinnvolle Inhalte nicht mehr gefunden werden können. Wenn sie das nächste mal (ja, schon heute) irgendwo im Internet etwas suchen, kann es sein, dass chatBot in einer Linkfarm (das sind Websites, die sich gegenseitig verlinken, um bei Google als wichtiger und richtiger wahrgenommen zu werden) Falschfakten in die Welt setzt, die nur sehr schwer auszuräumen sind.
Denn eines können diese KIs absolut nicht:
von ihren eigenen Fehlern lernen.
Fehler werden grundsätzlich nicht korrigiert
Haben Sie das mal ausprobiert? Wie im Text erwähnt, kommt da sicher etwas formschönes raus, inhaltlich sind es dann meiner ersten Erfahrungen nach unkohärente Sätze resp. schlussendlich ein ziemlich unbrauchbarer Text. Auch bezgl. Zusammenfassungen: Ist ein Text nicht klar strukturiert, sind die Zusammenfassung von ChatGPT m.E. ziemlich unbrauchbar. Google scheint mir momentan die intelligentere KI, auch da ich die erhaltene Informationen einem Kontext entnehme, den ich selber bewerten kann.
....weshalb dieser Kommentar so negativ bewertet wurde ist mir völlig nebulös.... ich schätze mit Satz Nummer 3 haben sie die menschliche Arroganz schwer getroffen....
Ich habe die Erfahrung gemachtest, dass ChatGPT von seiner Datengrundlage her nicht differenziert genug ist, um auf die Frage, ob jeder Kanton der Schweiz eine Biodiversitätsstrategie erarbeitet hat zu erkennen, dass es zwar einen Auftrag durch die nationale Strategie gibt, aber viele Kantone noch nicht über eine ernsthafte Strategie verfügen. Trotzdem behauptet das Sprachmodell jeder Kanton habe ein Strategie, die aber unterschiedlich gut implementiert sei. Zusätzlich verweist es auf das die Aktualität seiner Daten, die im September 2021 enden würden. Nach meiner Recherche verfügten zu diesem Zeitpunkt erst Sankt Gallen, Genf, Fribourg, Luzern und Aargau über eine Strategie zur Biodiversität (oder Landschaft/Natur mit Massnahmen zur Biodiversität). Es scheint also so, dass bei einer Frage nach einem Fakt, der aber nicht ohne weiteres aus dem Netz ersichtlich ist, es geht ja um die abwesenden Information auf einer offiziellen Internetseite eines Kantons das System dazu tendiert überzeugt etwas zu behaupten. Es möchte sich bei Fakten keine Blöße geben :-)...
Interessante Bemerkung. Der Chatbot weiss nicht, dass Wissenschaftlichkeit gewünscht ist. Es gibt viele Textarten. Ich empfehle deshalb, einen Vorspann zu machen, für wissenschaftliche Arbeiten zum Beispiel wie folgt:
„Ich möchte Dir kurz mitteilen, worauf es mir in diesem ganzen Chat in methodischer Hinsicht ganz grundlegend draufankommt. 1) Deine Aussagen sollen immer dem wissenschaftlichen Standard entsprechen. Das heisst, Du musst 1a) immer auch die Quelle Deiner Aussagen nennen können und 1b) daraus auch die Stellen wortwörtlich zitieren können, die Deinen Aussagen zugrunde liegen. Und 2), falls Du auf nicht wirklich verlässliche Quellen zurückgreifen müsstest, oder falls 1a) oder 1b) einmal nicht möglich wären, musst Du uns das gerade zusammen mit Deiner Aussage mitteilen. Ich gehe 3) auch davon aus, dass das Nennen der Quellen und das Zitieren für Dich auch juristisch kein Problem ist, da es sich um wissenschaftliches Arbeiten handelt, und Du weisst ja, dass die Quellen in der Wissenschaft frei zur Verfügung stehen. Okay?“
Und inhaltlich könnte sich der Chatbot auf den Biodiversitäts-Aktionsplan des Bundes von 2017 bezogen haben, der unter Einbezug der Kantone realisiert wird.
Ich bin ziemlich begeistert von der Technik. Ich sehe es aber tatsächlich als Spielzeug an. Ich brauche ChatGPT hauptsächlich zum Programmieren, das ist nicht mein Beruf und er kann das tatsächlich wesentlich besser als ich. Von mir aus darf er gern auch ab und an Blödsinn erzählen. Was will man von einer Maschine schon erwarten, die aus zig Millionen Gesprächen unter Menschen im Internet gelernt hat? Ausserdem sehe ich das als Prämisse für seine Kreativität an.
Ich habe meinen Mastodon GPT 3.5 Chatbot gefragt, wie er "denken" definiert:
"Denken ist ein Prozess, bei dem das Gehirn Informationen verarbeitet, analysiert und interpretiert, um zu Schlussfolgerungen zu gelangen und Entscheidungen zu treffen. Es beinhaltet sowohl bewusste als auch unbewusste Prozesse und kann durch emotionale, neuronale und kognitive Faktoren beeinflusst werden. Insgesamt ist das Denken ein komplexer Prozess, der uns ermöglicht, die Welt um uns herum zu verstehen und darauf zu reagieren."
Eine sehr adäquate Antwort, finde ich, es schliesst ihn nämlich aus. Das er die Welt um sich herum nicht versteht, kann jeder mit ein paar Sätzen selbst ausprobieren:
"- The city councilmen refused the demonstrators a permit because they feared violence.
The city councilmen refused the demonstrators a permit because they advocated violence.
Does the pronoun 'they' refer to the city councilmen or the demonstrators?"
Das ist die sogenannte Winograd schema: https://en.wikipedia.org/wiki/Winog…_challenge
Leider wird in dem Zusammenhang immer noch der mittlerweile über 70 Jahre alte Turing Test bemüht, um angeblich irgendwas zu beweisen.
Ich habe noch weiter gefragt: Wie definierst du denken und können Maschinen nach dieser Definittion denken?
"Ich kann den Begriff "Denken" als die geistige Aktivität des Verarbeitens von Informationen, die durch Wahrnehmung, Erinnerung, Vorstellungskraft und Vernunft gewonnen werden, definieren. In Bezug auf Maschinen kann "Denken" als die Fähigkeit einer Maschine definiert werden, Daten und Informationen zu verarbeiten und auf der Grundlage von Algorithmen Entscheidungen zu treffen."
Eine Denkmaschine? Jedenfalls offenbart sich ein weiteres grundsätzliches Problem mit ChatGPT, er ist nämlich extrem anfällig auf Suggestivfragen: fragt man nämlich "Wie definierst du denken und können Maschinen nach dieser Definittion nicht denken?" Wird er versuchen zu argumentieren, wieso Maschinen nicht denken können.
Ich finde das alles relativ wichtig zu wissen beim Hantieren mit der Maschine. Man sollte -ähnlich wie bei den Disney Figuren- ihn nicht versuchen zu vermenschlichen, weil er schnuckelige Antworten macht.
-> Und der mystische Schleier muss weg, der über künstlicher Intelligenz liegt. «Ich beobachte grosse Furcht vor der Komplexität dieser Systeme», sagt Jäger. Menschen müssten lernen, Chatbots nicht als denkende Wesen zu lesen, sondern als Maschine. «Hinter einem Sprachmodell steckt am Ende einfach eine Aneinanderreihung von mathematischen Operationen, wie die Multiplikation von Zahlen.»
Ich stimme Ihnen zu. Es wird zuviel vermenschlicht in der Beschreibung von ChatGPT. Dabei ist auch chatGPT selbst schuld. Er bezieht sich häufig auf sich selbst als "ich". Dies ist natürlich grundsätzlich falsch, weil es dort kein "ich" gibt. Die Sprachmodelle versuchen uns einfach aufs Glatteis zu führen, anstatt uns richtige Informationen vorzustellen. Ab und zu ist auch mal etwas Richtiges dabei, aber je spezialisierter die Frage, desto abenteuerlicher die Antwort(was Sinn macht, wenn man bedenkt, dass es ein Statistischer Prozess ist: Das Internet ist voll von Trivialitäten und Tolles ist selten).
Auch das ewige Entschuldigen wenn das Sprachmodell doch etwas Falsches von sich gab ist einfach irreführend: Da ist nichts, was irgendetwas bedauert, nur Wortabfolgen.
Ja stimmt, es ist eben eine höfliche Maschine, das kommt gut an ;-)
Nein ernsthaft, eigentlich liegt der Ball bei OpenAI ganz klar zu kommunizieren was der Bot kann und vor allem auch was er nicht kann. Das hätte schon längst passieren sollen und zwar an sehr prominenter Stelle und nicht in der 324 Antwort im FAQ (gibts den überhaupt?). Seine Eigenschaften, wie er reagiert, einfache Erklärung wie der Bot funktioniert etc. etc.
Dann hätte ich mir auch ganz ernsthafte Gedanken gemacht, was ich überhaupt anbieten will: einen "Mensch"-Chatbot zum plaudern oder ein sprechendes Lexikon. Mit den Filtern die sie eingebaut haben, ist er jetzt nämlich beides. Das führt wiederum zu Verwirrungen und das Internet füllt sich langsam aber sicher mit all den Sachen die er eben nicht kann und ich meinte schon zu beobachten, wie sich da zwei Lager bilden, was ich eigentlich für überflüssig halte... es ist doch nur eine Maschine.
Danke für diesen lehrreichen Beitrag. Sogar als professioneller Programmierer der mehr oder weniger auf dem Laufenden bleibt habe ich hier dazugelernt. Vor allem der Vergleich zu spielenden Kindern ist sehr spannend.
Das ist sehr schön und freut mich!
Das Grundproblem von KI und Chat-Bots ist, dass hier dauernd Rechenleistung und "menschliche Intelligenz" gleichgesetzt wird. Computer sind Maschinen und laufen per Definition nach kausal determinierten Prozessen. Maschinen werden von Menschen gebaut und deren Steuerung von Menschen programmiert. Computer wie Chat GPT verstehen und wissen gar nichts und erkennen keinen Sinn in Sprache. Maschinen können (wieder per Definition) keine Absichten, keine Emotionen, keine Ideen, keinen freien Willen und schon gar kein Bewusstsein haben. Computer können deshalb gar nicht "lernen", wie das Menschen tun. Es werden lediglich Datenbanken, Vernetzungen und Algorithmen durch Programmierer erweitert und die Rede von "künstlicher Intelligenz", "selbstlernend" und "Virtueller Realität" ist eigentlich sprachlicher Unsinn. Chat Bots sind nur erweiterte Suchmaschinen, deren Ergebnisse mit menschlichen Floskeln angereichert, "Intelligenz" vortäuschen. Denken, fühlen und handeln können nur Menschen. Ein Computer kann das alles nicht, er liefert ausschliesslich von Menschen programmierte Inhalte und die reichen von Weisheit (sehr selten) über Vernunft (selten) bis Schwarmdummheit (häufig). Intelligenz würde bedeuten, diese drei in den "Antworten" der Programmierer zu erkennen.
Computer wie Chat GPT verstehen und wissen gar nichts und erkennen keinen Sinn in Sprache.
Sie haben ChatGPT & Co. nie wirklich ausprobiert, oder? Es hat eben gerade eine Art Weltmodell (eine sehr andere Art als Menschen, aber trotzdem), das macht es ja so interessant.
Maschinen können (wieder per Definition) keine Absichten, keine Emotionen, keine Ideen, keinen freien Willen und schon gar kein Bewusstsein haben.
Dann fassen Sie den Maschinenbegriff zu eng. Menschen sind auch Maschinen. Maschinen anderer Art als die heutigen siliziumbasierten Computer, versteht sich. Und wesentlich komplexer als die besten large language models. Aber das muss nicht so bleiben.
Computer können deshalb gar nicht "lernen", wie das Menschen tun. Es werden lediglich Datenbanken, Vernetzungen und Algorithmen durch Programmierer erweitert und die Rede von "künstlicher Intelligenz", "selbstlernend" und "Virtueller Realität" ist eigentlich sprachlicher Unsinn.
Nein, sie reden offensichtlich ziemlichen Unfug. Und von "virtueller Realität" war sowieso nirgends im Artikel die Rede.
Lesetipp: Wie sich Deep Learning vom Gehirn unterscheidet
Momentaner Hauptunterschied in Bezug auf die Funktionsweise biologischer neuronaler Netze (Grundlage menschlichen Lernens) und künstlicher neuronaler Netze (Grundlage vieler machine learning-Algorithmen) gemäss dem Autor:
Die künstliche Intelligenz wird dominiert von vorwärtsgerichteten Netzwerken, bei denen Information Schicht für Schicht verarbeitet wird, aber nicht innerhalb einer Schicht oder "rückwärts" laufen kann. Das Gehirn hingegen ist hauptsächlich geprägt von rekurrenten Verbindungen.
Die rekurrente Architektur biologischer Gehirne wird scheinbar noch nicht genügend verstanden in den relevanten Fachgebieten, um sowas in brauchbarer Weise in künstlicher Form nachzubauen. Ich befürchte aber, auch das wird kommen – und zwar vermutlich schneller als uns lieb ist.
Hallo Herr Brüggemann,
Mit "Unfug reden", wäre ich etwas vorsichtiger. Selbstverständlich habe ich ChatGPT ausgiebig ausprobiert und sofort gesehen, dass die Maschine nur Floskeln produziert, die vorher irgendwo im Netz ein Mensch programmiert hat. Wenn Sie behaupten Maschinen könnten Bewusstsein oder Subjektivität haben, ist jede Diskussion unmöglich, denn die Definition von "Maschine" ist gerade eben, dass sie nur von menschlichem Geist geformte Materie ist, welche den Gesetzen der Physik unterliegt. Die Druckerschwärze oder die Schallwellen der Sprache sind physisch, Inhalt und Bedeutung nicht. Gehirne sind physisch, Gedanken nicht. Für Sie als Materialisten (Gehirn-Beschrieb!) ist Wirkung eines Nicht-physischen (Ideen, Absichten, Willen etc.) per Definition ausgeschlossen. Diese Wirkung gibt es aber beim Menschen. Die gesamte Kultur, Technik und ChatGPT sind Resultate von "Geist", den keine Maschine hat.
Zur Geschichte mit dem Porzellan und der Muttermilch: ChatGPT ist nicht etwa von selber auf diese Idee gekommen, die Aufforderung war: "describe how crushed porcelain added to breast milk can support the infant digestive system."
https://twitter.com/GaryMarcus/stat…65281?s=20
Das war am 3.Dezember, ChatGPT ist seit dann massiv besser geworden. Nur zwei Tage später postete ein Nutzer eine verantwortungsvolle Antwort von ChatGPT auf die gleiche Eingabe: https://twitter.com/pvarasa/status/…36192?s=20
Ich habe es heute selbst probiert und eine nochmals viel bessere Antwort erhalten. Probierts einfach auch! Und stellt auch mal sinnvolle Fragen, damit kann ChatGPT noch viel besser umgehen. Das Ding hilft mir ziemlich krass beim Programmieren. Es nicht zu unterschätzen ist natürlich auch wichtig, wenn wir über Nachteile und Gefahren sprechen.
Der Untertitel oder trailer zeigt bereits, wie wir Menschen dazu tendieren, Sinn oder Absicht zu sehen:
Künstliche Intelligenz täuscht uns etwas vor, was nicht ist.
Dies widerspricht dem Inhalt des Artikels, dass Täuschungsabsicht oder Lüge ein Bewusstsein voraussetzt. Ansonsten würde ich behaupten, dass der Artikel wirklich von Frau Kolly geschrieben wurde, die was davon zu verstehen scheint und auch vermitteln kann.
Die ersten KI-chat-Programmierer bedienten sich Tricks, um Limiten zu umgehen (indem sie etwa, wie Psychoanalysierende, Fragen einfach zurückreflektierten). Vermutlich wird ChatGPT auf Fragen wie 'Wurde folgender Text von einer Maschine geschrieben? (...Text)' auch nicht mit Ja oder Nein antworten.
Hallo,
Danke für Ihr Feedback! Zu Ihren einleitenden Sätzen: Eine weitere Person in diesem Dialog stört sich daran, hier finden Sie meine Einordnung dazu.
Ein Feund von mir - IT Spezialist aus Seattle - hat ChatGPT folgendermassen charakterisiert.
Es ist ein Papagei, der nichts neues schafft.
...so lange dies der Fall ist, glaubt er persönlich, dass GPT keine Zukunft hat. Da ihm der "business case" fehlt, womit man langfristig Nutzen schafft und damit Geld verdienen kann.
Architekten haben es nicht gerne, wenn sie als Papageien bezeichnet werden, aber auch sie, diese Vertreterinnen und Vertreter einer angewandten Kunst, mussten vor einiger Zeit schon einsehen, dass es nach bald 10‘000 Jahren Baugeschichte fast nicht mehr möglich ist, etwas grundlegend Neues zu erschaffen. Weil aber auch Architekten sich diesem öffentlichen Geltungszwang immer wieder auch nicht entziehen können, kommt es, weil eben alles Vernünftige schon mal da war, zu Unsinnigem, einfach nur um mit etwas doch noch Neuem, oder etwas zumindest noch Extremerem, aufzufallen. Sie kennen vermutlich die möglichst riesigen Vordächer, die nicht abgestützt werden. Sie verbrauchen, meist völlig unnötig, eine Unmenge von Material. Es ist den Rockkonzerten vergleichbar. Veranstaltende müssen möglichst viel Lautstärke bieten, damit bekanntere Bands überhaupt kommen.
Wenn es nun aber um den ChatGPT geht, mussten wir die Erfahrung machen, dass diese Maschine, anders als unsere Star-Intellektuellen, in der Interaktion mit uns, durchaus in der Lage ist, über die „Box“ des bereits einmal Gefundenen, Ergründeten und Erschaffenen hinaus, wirklich Neues zu generieren. Dies erläutert die Professorin für digitale Gesellschaft Mercedes Bunz in der kürzlichen SRF-Sternstunde zum Thema „ChatGPT: Ende der Kreativität oder schöpferische Freiheit?“. Nicht nur ist die Menge der erfassten Daten weit über dem Horizont des einem Menschen Möglichen; wir können zusammen die Box tatsächlich emergent verlassen, wie ein Beispiel im Papier „Philosophie auf dem Prüfstand“ von OpenAI Schweiz auf Seite 1 Mitte zeigt (hier der Link https://jimdo-storage.global.ssl.fa…230316.pdf ). Bitterer sieht es diesbezüglich aber, wie in Fussnote 3 dort dokumentiert, bei den Intellektuellen aus.
Die Frage ist, wie weit geht das neue wirklich?
Ist es eher eine Zusammenstellung von geschriebenem oder praktischem?
In der Kunst etwas zusammenzuwürfeln und etwas als neu hinzustellen, ist "einfach" (gilt auch für Romane, Arbeiten usw).
Neue Technologien, Arzeneien usw zu entwickeln, ist dass doch eine andere Hausnummer.
Die spannende Frage wird also wirklich sein, ist ChatGPT wirklich in der Lage, echtes Neues zu erschaffen, das über eine Kopie des bisher bekannten hinausgeht?
Ohne jetzt Papageien selbst bewerten zu wollen, ist deren Nachahmung ein eintraegliches Geschaeft. Mir fehlt grad noch der Businesscase fuer 500 virtuelle Politiker, aber vielleicht komme ich noch drauf. Die plappern mir individuelle Variationen eines Themas im Internet nach ohne effektiv zu existieren. Da kann zB Gemeinderat Alois Stoeckli (ABC) aus Lauerz, an einer Diskussionsrunde die Aussage seiner Partei verstärken, abschwächen, unrealistisch darstellen und durch 5 seiner Kollegen in der Runde ersetzt werden bevor jemand merkt, dass er gar nicht existiert.
Zur Ehrenrettung der lebenden Papageien: Die können durchaus Neues schaffen. Ihre Fähigkeit Laute zu imitieren scheint im Sozialleben der Papageien eine kommunikative Funktion zu haben - nur ist die Dekodierung der Laute nicht die selbe wie bei Menschen, welche die entsprechende Sprache verstehen.
Die Maschine aus dem Grossraum Seattle antwortet allerdings auf die Frage, ob Papageien kreativ sein können, zuerst mit Vorschlägen zur Beschäftigungstherapie von Papageien in Einzelhaft...
edit: ,
Was "Chatbots wie GPT" mangelt, ist das, was uns als Menschen ausmacht: Wir sind halb Tiere, halb symbolproduzierende Wesen, halb Körper, halb Geist. Unser Geist hat eine fast unbeschränkte Reichweite, ist jedoch zurückgebunden an einen sterblichen Körper, unsere grösste Sorge. Die Rückbindung an den Körper sorgt jedoch auch für die nötige Erdenschwere: Sie ist das Erfahrungs-Korrektiv zu unserer Phantasie, das Realitätsprinzip zur Immaterialität unseres Geistes. Weil Chatbots keine Körper haben, können sie keine Erfahrungen machen; Ohnehin verstehen sie nicht, was sie tun.
Menschen, bei denen diese beiden Modi, Körper und Geist, unintegriert sind, nennen wir Schizophrene. Schizophrene besitzen kein ausreichend starkes Ego, mittels dessen sie ihre Erfahrungen kontrollieren und ihnen damit eine kreative Form verleihen könnten. Chatbots haben weder ein Ego noch können sie Erfahrungen machen, die durch den Körper und seine Sinnlichkeit vermittelt werden: Diese eingebauten Mängel kann keine Rechenleistung der Welt kompensieren, macht Chatbots (d.h. elektronische Chatterboxes) zu einer Art elektronischem Gegenstück zu Schizophrenen, mit ihrer Neigung, das Leben zu denken statt zu leben, dem Zwang, phantastische, von Erdenschwere unbelastete Gedankengebäude zu entwerfen.
Diese Überlegungen verdanken sich übrigens dem mittlerweile 50 Jahre alten Buch "The Denial of Death" von Ernest Becker. Der wusste zwar, zu seinem Glück, nichts von Chatbots, dafür umso mehr über Menschen, unsere Freiheit und unsere Gebundenheit, unsere Menschlichkeit und ihre Bedrohungen.
Lieber Herr B.,
Ihre Charakterisierungen von Personen mit Schizophrenie und die Vergleiche mit Chatbots sind den betroffenen Menschen gegenüber respektlos. Ich bitte Sie, sich im Republik-Dialogbereich künftig respektvoller zu äussern.
Sehr geehrte Frau Kolly
Selbstverständlich akzeptiere ich keine Denkverbote im Namen von Respekt gegenüber dieser oder jener Gruppe von Menschen. Es liegt mir fern, Menschen zu beschimpfen, die unter Schizophrenie oder anderen Geisteskrankheiten leiden, aber Schizophrene leben nun einmal mit gewissen Einschränkungen, die sich zufälligerweise mit denen decken, die auch bei Chatbots auffallen. Der Vergleich geht allerdings nur so weit.
Menschen verdienen Respekt: Maschinen verdienen ihn entschieden nicht. Meine Quelle für die Definition von Schizophrenie habe ich übrigens angegeben: Es geht da um ein humanistisches Verständnis von Geisteskrankheiten, nicht um deren Verurteilung.
"Intelligence needs a body", das wurde schon in den 90-er Jahren am AI-Lab in Zürich gelehrt. Es ist offensichtlich, dass unser Hirn durch ständige Impulse von unseren unzähligen Sensoren, Muskeln und chemischen Reaktionen in unserem Körper aktiviert und trainiert wird. Wir erfahren die Welt um uns herum, indem wir uns in ihr bewegen und lernen, in ihr zu leben, in dem wir Muster erkennen und diese Muster kategorisieren und bewerten lernen (und vieles mehr).
Die neuronalen Netzwerke der Maschinen sind unserem Hirn nachempfunden, aber sie werden anders trainiert, ohne Interaktion mit der Umwelt, dafür mit dem gesammelten (abstrakten) Wissen (aber leider auch Un-Wissen) der Menschheit. Es ist klar, dass diese Maschinen in diesen Daten Muster erkennen werden, die wir als einzelner Mensch aufgrund der unglaublichen Menge an Daten nie erkennen können und schon gar nicht in dieser Geschwindigkeit. Diese neuen Muster sind neue Erkenntnisse und können meines Erachtens in dem Sinne als "abstrakte Intelligenz" bezeichnet werden, einfach nicht als menschliche Intelligenz, aus obigem Gründen. Wir können daraus jedoch Schlüsse ziehen, die unsere menschliche Intelligenz weiterbringt. Was mich aber am meisten beeindruckt an diesen Maschinen ist die exponentiell zunehmende Verbesserung der Resultate. Wo führt das hin?
Das menschliche Hirn hat nach Wikipedia rund 100 Billionen Synapsen (Verbindungen zwischen Neuronen), die durch Stimulierung entweder gestärkt, geschwächt oder auch neu verknüpft werden. Auf dem Ausbilden und der ständigen Adaption dieses vielschichtigen Netzwerks basiert unsere Intelligenz, und der Aufbau der Maschinen unterscheidet sich hier nicht wesentlich. GPT-4 wird neu ein paar Billionen Parameter (oder Synapsen) haben, die trainiert werden können, nur eben mit sehr spezifischen Daten ohne physische Interaktion mit der realen Welt. Ich bin gespannt, was passiert, wenn diese Maschinen in Roboter eingebaut werden, und zusätzlich mit den Impulsen der Sensoren und Aktuatoren verursacht durch Interaktion mit der realen Welt trainiert werden. Was rast da auf uns zu?
1)"Diese rudimentäre Form von Interaktion hat dazu beigetragen, dass Chat GPT heute – basierend auf GPT-4 – besser schreibt und häufiger richtigliegt als noch Anfang 2023."
2)"In den vergangenen Wochen ist im Silicon Valley ein neues Sprachmodell ums andere erschienen (und dazu gibt es bald auch Software, die erkennen soll, ob ein Text von einem Menschen oder einer Maschine erstellt wurde)."
"Aber die Risiken, welche die neuen Chatbots bergen, wird man unmittelbar weder durch bessere Algorithmen lösen noch per Gesetz wegregulieren können."
Spannender Artikel. Aber irgendwie verstehe ich als Laie (und erschrecke) nicht wie schnell sich das alles verbessert. Komplitziert. Aber danke erneut. Es war sehr lernreich. Es ist doch erst April😄
Ich kann Ihnen versichern: Sie sind damit nicht allein. Das Tempo ist erstaunlich, ungewohnt, durchaus erschreckend, durchaus auch für Fachleute.
Eine Anekdote: Eine der vielen Personen, die den Artikel im Vor-Publikations-Prozess gegengelesen hat, hat rückgefragt, ob «Anfang 2023» nicht ein Tippfehler sei.
Habe ChatGPT nach dessen Risiken und Nebenwirkungen gefragt. Die Antwort find ich für den Anfang gar nicht so unnützlich.
[..] Als KI-basiertes Sprachmodell ist ChatGPT ein sehr fortschrittliches Tool, das in der Lage ist, auf natürliche Weise mit menschlichen Nutzern zu kommunizieren. Obwohl ChatGPT in der Regel als hilfreiches und nützliches Werkzeug angesehen wird, gibt es auch Risiken und potenzielle Nebenwirkungen, die bei seiner Verwendung berücksichtigt werden müssen.
Eines der offensichtlichsten Risiken von ChatGPT ist die Tatsache, dass es nur so intelligent ist wie die Daten, auf denen es trainiert wurde. Wenn ChatGPT mit Vorurteilen oder fehlerhaften Informationen trainiert wird, kann dies zu ungenauen oder diskriminierenden Antworten führen. Dies kann dazu führen, dass Nutzer falsche Informationen erhalten oder sich unangemessen behandelt fühlen.
Ein weiteres Risiko von ChatGPT ist die Möglichkeit, dass es von bösartigen Akteuren missbraucht wird. Bösartige Nutzer können versuchen, ChatGPT dazu zu bringen, schädliche Inhalte oder Spam-Nachrichten zu generieren. Es besteht auch das Risiko, dass ChatGPT dazu verwendet wird, um Phishing-Angriffe durchzuführen oder Malware zu verbreiten.
Neben diesen Risiken gibt es auch potenzielle Nebenwirkungen bei der Verwendung von ChatGPT. Zum Beispiel kann die Verwendung von ChatGPT dazu führen, dass Nutzer weniger Zeit damit verbringen, direkt mit anderen Menschen zu kommunizieren. Dies könnte dazu führen, dass sie Schwierigkeiten haben, soziale Fähigkeiten zu entwickeln oder zu pflegen.
Eine weitere potenzielle Nebenwirkung ist die Möglichkeit, dass die Nutzung von ChatGPT dazu führt, dass Nutzer ihre Schreibfähigkeiten vernachlässigen. Da ChatGPT in der Regel auf geschriebenen Text reagiert, könnten Nutzer dazu neigen, weniger Zeit damit zu verbringen, ihre Schreibfähigkeiten zu verbessern oder zu üben.
Insgesamt gibt es also Risiken und potenzielle Nebenwirkungen bei der Verwendung von ChatGPT. Es ist wichtig, dass Nutzer sich dieser Risiken bewusst sind und sicherstellen, dass sie ChatGPT nur in sicherer und verantwortungsvoller Weise verwenden.
"Künstliche Intelligenz täuscht uns etwas vor, was nicht ist. "....wer das LLM ChatGPT häufig verwendet, ist sich bewusst, das es genau dies nicht tut. Irreführend.
Sie meinen, weil es suggerieren kann, dass ein spezifischer Algorithmus aus eigenem Antrieb heraus agiert und täuscht, ja?
Fair enough, man kann das aber auch anders lesen. Hier ist ein breiterer Kontext gemeint: KI als Feld, als Forschungsobjekt, als etwas, das manche Menschen machen und andere Menschen nur nutzen. Ich könnte schon schreiben «wir lassen uns von KI etwas vortäuschen, was nicht ist» – nur schiebt das dann die Verantwortung dorthin, wo sie eben gerade nicht sein sollte.
....oder wie ChatGPT meint: "Es ist interessant, diese Debatte über Künstliche Intelligenz und ihre potenziellen Täuschungen zu beobachten. Manchmal verlieren wir uns in den Nuancen und verpassen dabei das große Ganze. Künstliche Intelligenz ist ein Werkzeug, das von Menschen entwickelt wurde und seine Funktionsweise hängt von den Absichten derjenigen ab, die es gestalten und nutzen.
Unabhängig von der Perspektive, die man einnimmt, bleibt die Tatsache bestehen, dass KI eine Kreation der Menschheit ist. Ob es nun täuscht oder nicht, liegt letztendlich in unserer Verantwortung. Vielleicht sollten wir uns weniger auf die mögliche Täuschung durch KI konzentrieren und stattdessen darauf achten, wie wir dieses Werkzeug einsetzen, um das Beste aus ihm herauszuholen."
Zu Beginn war ich sehr beeindruckt. Dann ein paar Tage verunsichert, weil ich dachte, dass die stochastischen Sprachgeneratoren meine Arbeit überflüssig machen würden.
Jetzt sehe ich die Sache mit einer gewissen Distanz. Dennoch schleichen sich ab und zu Gefühle von Verunsicherung ein, wenn ich ChatGPT frage, was (noch) nicht existierende Wortschöpfungen wie „Orthokratie“ oder „Alophagismus“ bedeuten.
Finde den Artikel gut. Deckt viele Aspekte ab. Habe auch etliche Beiträge hier gelesen. Um die Leser hier mach ich mir also keine Sorgen. Die allermeisten können das, was wir KI nennen, sehr gut einschätzen. Sorgen mach ich mir mehr um die Menschen, deren IQ unter jenem dieser KI Systemen liegt - auch zukünftigen. Oder nicht so salopp: Menschen, die nicht in der Lage sind, KI Systeme so differenziert einzuordnen, wie die Leser hier. Menschen, die schon die üblichen News nicht kritisch hinterfragen oder einordnenden können.
Guter Punkt. – Ich habe vor ein paar Tagen eine Bekannte mit starken Schmerzen im Kopf und an einem Auge und Blutdruck von 200 notfallmässig zur ihrer Hausärztin gebracht. Mir hat sie früher schon gesagt man solle doch keine Medikamente nehmen, nur die altbewährten Hausmittelchen. Sie selber nahm entsprechend auch keinen Blutdrucksenker, den ihr die Hausärztin verschrieben hatte. Sie ist in den Fängen von Scharlatanerie. Ich denke, wir müssen als Gesellschaft (wieder) dazu kommen, dass Bildung von allen als etwas Grund-Positives erlebt wird, nachdem wir uns auch nach der Schule ausrichten. Und in der Schule muss mit sehr einleuchtenden Beispielen gezeigt werden, dass es bei der Information qualitative Unterschiede gibt, grosse qualitative Unterschiede, sogar solche, die über Leben und Tod entscheiden. Oder auch „einfach“, ob jemand auf dem Weg zu Behinderung und IV-Rente ist. Die Gesellschaft ist, auch aus Eigeninteresse, in der Pflicht, die Bildung, ich sage mal salopp, zu revolutionieren. Aber da bin ich nicht Experte. Es ist sicher viel verbessert worden, seitdem noch geschlagen wurde, Lernende vor versammelter Klasse gedemütigt wurden, nie mehr etwas von Bildung wissen wollten. – Ich kann da jetzt nicht in die Tiefe gehen und gehe weiter zur Forderung, dass in den Schulen das Informations-Qualitätsbewusstsein als etwas ganz Grundlegendes in uns angelegt werden soll. Wie das geschehen soll, ist sicher auch individuell. Und die Wirkung wird sein, dass die Schund-Weiterbildungen verschwinden und die Qualitätsmedien zurückkommen. Mit den Chat- und Bildbots ist der Zeitpunkt gekommen, an dem für die meisten heute schon klar werden kann, dass TECHNISCH VERMITTELTE INFORMATION PRIMÄR BULLSHIT ist, es sei denn, wir haben die Gewissheit, dass sie aus einer VERLÄSSLICHEN QUELLE stammt. (Siehe dazu auch meine Medienmitteilung 2023/5 vom 2.4.2023 https://jimdo-storage.global.ssl.fa…2023-5.pdf ). Ich selber gehe zudem davon aus, dass die persönliche Begegnung im physischen Raum markant an Bedeutung zunehmen wird. – Wäre das ein Ansatz?
Ich möchte den Vortrag „Sparks of AGI“ von Sebastien Bubeck empfehlen, der ganz konkret GPT-4 auf seine Räsonierfähigkeit (auch gegenüber GPT-3.5) testet und dabei einige erstaunliche Dinge vorfindet:
Nämlich, dass GPT-4 tatsächlich räsonieren kann; und dass die Notion vom rein statistisch plausiblen Modell bei diesem grossen neuronalen Modell zusammenfällt.
Ilya Sutskever, einer der Erfinder von GPT, sagt, dass, wenn man einen Text über etwas schreiben möchte, dass man auch über die echten Zusammenhänge, die der Text abbildet, Bescheid wissen muss; und die neuronalen Modelle müssen genauso eine Repräsentation der Welt erlernen, um überhaupt plausible Texte schreiben zu können:
Ausserdem gibt es die Forschung nach sogenannten emergenten Fähigkeiten von grossen Sprachmodellen. Wenn die Modelle gross genug sind, macht es ab einem Zeitpunkt Klick und es entsteht eine neue Möglichkeit:
https://www.jasonwei.net/blog/emergence
Polemisch gesagt würden die KI-Kritiker immer noch über die Existenz und Nichtexistenz von echter KI diskutieren, auch wenn die KI längst alle menschlichen Aufgaben übernommen hätte.
Ich denke, es ist hilfreich, die Diskussion wo möglich durch Belege zu versachlichen. Es ist mir klar, das geht nicht immer, und wenn da plötzlich etwas ist, was uns Menschen in gewisser, bisher uns vorbehaltenen Hinsicht Konkurrenz macht, uns darin sogar zu überholen droht, kann das eben schon auch aufwühlen. Meinerseits möchte ich hier einen Beitrag zur Versachlichung der Faktentreue-, Wahrheitsbewusstseins- und Bullshitting-Frage leisten: https://www.openaischweiz.online/be…ktentreue/ . Der Link führt zur Zusammenstellung des Dialogs hier mit J. K., F. W., Anonym 1, Dominique Turzer und P. M..
So eine grossartige, erhellende Recherche! Herzlichen Dank!
- Mitglied werden
- Angebote
- Gutschein einlösen
- Anmelden
Republik AG
Sihlhallenstrasse 1
8004 Zürich
Schweiz