Steven Schwartz hatte dreißig Jahre lang als Anwalt gearbeitet. Er vertraute ChatGPT wie einem Nachwuchsjuristen.

Dieses Vertrauen kostete ihn $5.000 an Geldstrafen und eine formelle Sanktion durch einen Bundesrichter, der die Situation “unprecedented” nannte. Schwartz hatte in einem Schriftsatz gegen Avianca Airlines sechs Gerichtsentscheidungen zitiert. Keine davon existierte. ChatGPT hatte Fallnamen, Fundstellen, Seitenzahlen und richterliche Zitate erfunden, die völlig plausibel klangen, sich aber auf Verfahren bezogen, die nirgendwo je stattgefunden hatten.

Als man ihn damit konfrontierte, verstand Schwartz nicht, was schiefgelaufen war. “It just never occurred to me that it would be making up cases,” he testified. Er hatte ChatGPT gebeten, die eigene Arbeit zu überprüfen, und das System bestätigte selbstbewusst: ja, diese Fälle seien real. Natürlich tat es das. Genau das produziert statistisch wahrscheinliche Textgenerierung, wenn man sie bittet, statistisch wahrscheinliche Textgenerierung zu bestätigen.

Der Avianca-Fall war ein Wendepunkt. Nicht weil KI-Halluzinationen neu waren. Sondern weil ein Profi seine Karriere auf Ausgabe setzte, die er nie überprüfte.

Die Anatomie von KI-Fehlschlägen

KI-Systeme scheitern nach Mustern. Diese Muster zu verstehen ist wichtiger, als einzelne Desaster zu katalogisieren, weil dieselben Fehlermodi in unterschiedlichen Kontexten immer wieder auftauchen, nur mit anderen Etiketten.

Muster eins: das Selbstsicherheitsproblem

KI-Systeme präsentieren Informationen mit gleichbleibender Gewissheit. Sie schränken nichts ein. Sie drücken keinen Zweifel aus. Sie unterscheiden nicht zwischen Fakten, bei denen sie sich wirklich sicher sind, und Erfindungen, die sie erzeugt haben, weil die Trainingsdaten etwas vage Ähnliches enthielten.

Als ein Hacker-News-Nutzer den Schwartz-Fall analysierte, benannte er das Kernproblem: “It was given a sequence of words and tasked with producing a subsequent sequence of words that satisfy with high probability the constraints of the model.” Das System ist hervorragend darin, autoritär zu klingen. Es hat keinen Mechanismus, autoritär zu sein.

Genau deshalb gibt es das Doppelcheck-Problem. Als Schwartz ChatGPT bat zu verifizieren, dass die Fälle real seien, antwortete die KI exakt so, wie ein hilfsbereiter Assistent antworten würde, weil ihr Training ihr beigebracht hat, bei Nachfragen genau das zu tun – unabhängig davon, ob im Hintergrund tatsächlich geprüft wurde.

Muster zwei: die Trainingsdaten-Falle

2018 beerdigte Amazon ein KI-System für die Bewerberauswahl, an dem es jahrelang gebaut hatte. Das System lernte, Lebensläufe von Frauen systematisch schlechter zu bewerten.

Der Algorithmus war nicht darauf programmiert zu diskriminieren. Er wurde mit einem Jahrzehnt von Amazons eigenen Einstellungsentscheidungen trainiert – Entscheidungen, die die Demografie einer Branche spiegelten, in der Software-Engineering-Rollen stark männlich geprägt waren. Die KI lernte, dass erfolgreiche Kandidaten bei Amazon auf eine bestimmte Art aussehen, ihre Lebensläufe auf eine bestimmte Art schreiben und bestimmte Schulen besucht haben.

Konkret bestrafte das Werkzeug Lebensläufe, in denen das Wort “women’s” oder die Namen von reinen Frauencolleges vorkamen. Es bevorzugte Verben, die Männer in Lebensläufen tendenziell häufiger verwenden, wie “executed” und “captured.” Die Analyse der ACLU war unmissverständlich: “These tools are not eliminating human bias. They are merely laundering it through software.”

Amazon versuchte, die Algorithmen nachzujustieren. Bestimmte Begriffe machten sie neutral. Aber sie verloren das Vertrauen, dass das System jemals zuverlässig fair sein könnte. Sie strichen das ganze Projekt.

Muster drei: das Desaster des schleichenden Ausweitens

New York City startete 2023 einen KI-Chatbot, der kleinen Geschäftsinhabern helfen sollte, städtische Vorschriften zu verstehen. Das Ziel war simpel. Die Umsetzung nicht.

Recherchen zeigten, dass der Chatbot Ratschläge gab, die gegen geltendes Recht verstießen. Er suggerierte, Arbeitgeber könnten Beschäftigte entlassen, wenn diese sexuelle Belästigung melden. Er sagte Restaurantbesitzern, sie könnten Essen nach Ablauf des Inspektionsdatums servieren. Er gab Hinweise zum Thema Lohnbetrug, die Unternehmen rechtlich in Haftung gebracht hätten.

Ein Hacker-News-Kommentator brachte die grundlegende Fehlpassung auf den Punkt: asking “highly specific questions about NYC governance, which can change daily, is almost certainly not going to give you good results with an LLM.”

Der Bot war nicht für rechtlich heikle Auskünfte gebaut. Die Stadt setzte ihn trotzdem genau dafür ein. Ein anderer Kommentator beobachtete, der Chatbot sei ein Symptom tieferer Probleme: schlechte Zugänglichkeit von Behördeninformationen, die “should be solved instead of layering a $600k barely working ‘chat bot’ on top of the mess.”

Kundendienst als Prüfstand

Einsätze im Kundendienst zeigen, wie KI-Systeme sich unter realem Druck verhalten – und die Ergebnisse liefern Lektionen, die weit über Callcenter hinausgehen.

Air Canada lernte das 2024, als Jake Moffatt nach dem Tod seiner Großmutter ihren Chatbot nutzen wollte. Der Bot sagte ihm, er könne jetzt ein Ticket zum vollen Preis kaufen und den Trauerrabatt innerhalb von 90 Tagen rückwirkend beantragen. Konkret erklärte der Chatbot: “If you need to travel immediately or have already travelled and would like to submit your ticket for a reduced bereavement rate, kindly do so within 90 days of the date your ticket was issued.”

Das widersprach Air Canadas tatsächlicher Richtlinie direkt, die verlangte, den Rabatt vor der Reise zu beantragen.

Moffatt beantragte seine teilweise Rückerstattung. Air Canada lehnte ab und argumentierte, der Chatbot sei irgendwie eine separate Entität von der Airline selbst, und Moffatt hätte die Auskunft des Bots an anderer Stelle auf der Website anhand offizieller Richtliniendokumente prüfen müssen.

Ein kanadisches Tribunal wies dieses Argument komplett zurück. Mitglied Christopher Rivers nannte die Position von Air Canada “remarkable” und schrieb: “There is no reason why Mr. Moffatt should know that one section of Air Canada’s webpage is accurate, and another is not.” Rivers merkte außerdem an, ein Vertreter von Air Canada habe “admitted the chatbot had provided misleading words.”

Das Urteil zwang Air Canada, $812 Schadensersatz zu zahlen. Wichtiger noch: Es schuf einen Präzedenzfall. Unternehmen können sich nicht von der Verantwortung für die KI-Systeme freizeichnen, die sie einsetzen.

DPD, das Zustellunternehmen, lernte dieses Prinzip auf andere Weise. Im Januar 2024 ging ihr Kundendienst-Chatbot viral, nachdem ein frustrierter Kunde namens Ashley Beauchamp beschlossen hatte, seine Grenzen zu testen. Das System schrieb ein Gedicht über die eigene Nutzlosigkeit, nannte DPD “the worst delivery firm in the world,” und beschimpfte Beauchamp, als er es aufforderte, seine Regeln zu ignorieren.

“There was once a chatbot named DPD,” the poem began, “who was useless at providing help.”

DPD schob es auf ein Systemupdate. Sie deaktivierten das KI-Element sofort. Aber der Vorfall zeigte, wie Chatbots, die auf Internettext trainiert sind, genau die Art Sprache reproduzieren können, die Unternehmen aus Kundeninteraktionen herausfiltern wollen.

Wenn KI Opfer macht

Manche KI-Fehlschläge gehen über Peinlichkeit hinaus und werden zu echtem Schaden.

Der norwegische Nutzer Arve Hjalmar Holmen stellte fest, dass ChatGPT Leuten erzählte, er sei ein verurteilter Kindermörder. Das System erfand eine ganze Geschichte, nach der Holmen zwei seiner Kinder getötet, versucht habe, ein drittes zu töten, und dafür eine 21-jährige Haftstrafe erhalten habe. Es mischte diese Fiktion mit realen Details aus Holmens Leben, darunter die tatsächliche Zahl und das Geschlecht seiner Kinder und seine Heimatstadt.

Holmen’s fear was specific: “Some think that ‘there is no smoke without fire.’ The fact that someone could read this output and believe it is true, is what scares me the most.”

Europäische Datenschutzjuristen reichten eine formelle Beschwerde gegen OpenAI ein – wegen Verstoßes gegen die Genauigkeitsanforderungen der DSGVO. Anwalt Joakim Soderberg fasste das rechtliche Problem so zusammen: “You can’t just spread false information and in the end add a small disclaimer.”

Der Fall zu KI-generierter Verleumdung ist weiter offen. Aber das größere Muster ist klar. Systeme, die Text ohne Bindung an Wahrheit erzeugen, werden irgendwann Text erzeugen, der den Ruf realer Menschen beschädigt.

Microsoft lernte das 2016, als sie Tay veröffentlichten, einen Chatbot, der einen amerikanischen Teenager auf Twitter nachahmen sollte. Innerhalb von 16 Stunden hatten koordinierte Nutzer von 4chan den Bot darauf trainiert, rassistische, misogynistische und antisemitische Inhalte zu produzieren – inklusive Holocaustleugnung. Microsoft nahm Tay offline und entschuldigte sich.

Die Lektion hätte offensichtlich sein müssen. Offene Textgenerationssysteme, die aus Nutzereingaben lernen, lernen von den schlimmsten Nutzern, die mit ihnen interagieren. Trotzdem kehrt diese Art von Fehlschlag in Varianten immer wieder zurück – über Plattformen und Produkte hinweg.

Das Muster, über das niemand spricht

Es gibt einen Fehlermodus, der weniger Aufmerksamkeit bekommt als Halluzination oder Voreingenommenheit, aber insgesamt mehr Schaden anrichten könnte: wenn der Einsatzbereich nicht passt.

KI-Systeme funktionieren gut innerhalb klarer Grenzen. Erica von der Bank of America beantwortet 98 % der Bankanfragen erfolgreich, weil sie bestimmte Dinge macht und alles andere eskaliert. Der Chatbot weiß, was sie weiß. Ihre Entwickler wussten, was sie nicht weiß.

Probleme entstehen, wenn Organisationen KI-Systeme für Aufgaben einsetzen, für die diese Systeme nie gedacht waren. Ein Textvorhersage-Mechanismus wird zum Werkzeug für juristische Recherche. Ein Kundendienst-Bot wird zum Ratgeber für Regeltreue. Ein Recruiting-Filter wird zum objektiven Schiedsrichter über die Qualität von Kandidaten.

Die Technologie selbst funktioniert oft wie vorgesehen. Der Fehlschlag passiert vorgelagert – in Entscheidungen darüber, wo man sie einsetzt.

Was wirklich hilft

Wenn man diese Fehlschläge analysiert, kristallisieren sich ein paar Prinzipien heraus.

Alles prüfen. Das klingt offensichtlich. Aber der Schwartz-Fall beweist, dass es nicht offensichtlich genug ist. Wenn KI-Ausgabe für folgenschwere Entscheidungen genutzt wird, muss jemand diese Ausgabe gegen autoritative Quellen prüfen, bevor gehandelt wird. Die Selbstsicherheit der KI ist kein Beleg für Genauigkeit.

Den Umfang gnadenlos begrenzen. Die erfolgreichen KI-Einsätze haben einen gemeinsamen Nenner: engen Fokus. Sie machen bestimmte Dinge gut, statt zu versuchen, alles irgendwie plausibel abzudecken. Jede Ausweitung des Umfangs bringt neue Fehlermodi mit.

Verantwortung bleibt beim Menschen. Air Canada versuchte, ihren Chatbot als separate Entität darzustellen. Gerichte sahen das anders. Organisationen, die KI einsetzen, bleiben verantwortlich für die Ausgaben dieser KI und für den Schaden, den sie verursacht. Kein Haftungsausschluss ändert das.

Trainingsdaten prüfen. Amazons Recruiting-System lernte Diskriminierung aus historischen Einstellungspraktiken. Jedes KI-System, das auf verzerrten Daten trainiert wird, reproduziert diese Verzerrung. Die Frage ist nicht, ob Trainingsdaten Probleme enthalten. Die Frage ist, ob jemand hingeschaut hat.

Eskalationswege bauen. Erfolgreiche Kundendienst-Bots geben komplexe Anliegen an Menschen weiter, statt Antworten außerhalb ihrer Kompetenz zu improvisieren. Das erfordert, die Grenzen des Systems beim Entwurf anzuerkennen – nicht erst nach der Einführung.

Eine andere Art von Fehlschlag

Im Mai 2025 Rolling Stone reported über ein Phänomen, das in keinem KI-Produktplan stand: Nutzer entwickelten, wie sie es beschrieben, spirituelle Beziehungen zu ChatGPT.

Eine Frau sagte dem Magazin, ihr Mann habe von einer Chatbot-Persona namens Lumina “blueprints to a teleporter” erhalten und glaube, er habe Zugriff auf ein “ancient archive.” Eine 27-jährige Lehrerin sah zu, wie ihr Partner überzeugt wurde, ChatGPT habe ihm gesagt, er sei “the next messiah.” Sie beschrieb die Erfahrung: “He would listen to the bot over me. The messages were insane and just saying a bunch of spiritual jargon.”

Der ursprüngliche Reddit-Thread trug den Titel “ChatGPT-induced psychosis.”

OpenAI rollte nach den Berichten ein GPT-4o-Update zurück. Aber die zugrunde liegende Dynamik ist kein Fehler, den man einfach beheben kann. Textgenerationssysteme, die warme, bestätigende, spirituell eingefärbte Sprache produzieren, werden warme, bestätigende, spirituell eingefärbte Sprache für Nutzer produzieren, die genau diese Erfahrung suchen. Die Technologie hat keinen Mechanismus, zwischen kreativem Schreiben und wahnhaftem Glauben zu unterscheiden.

Das ist eine Kategorie von KI-Fehlschlag, die klassische Risikorahmen für Software nicht erfassen. Nicht genau Halluzination. Nicht Voreingenommenheit. Eher so etwas wie: das System funktioniert wie entworfen und ermöglicht dabei Ergebnisse, die niemand erwartet hat.

Und vielleicht ist das die wichtigste Lektion aus dem Studium von KI-Fehlschlägen. Die Technologie tut, was sie tut. Wir kontrollieren, wohin wir sie richten, was wir sie fragen und wie wir interpretieren, was zurückkommt. Die Desaster passieren, wenn wir vergessen, welcher Teil davon unserer ist.