--- title: Warum KI sich Dinge ausdenkt: Die Wahrheit über Halluzinationen description: Halluzinationen von KI sind keine Fehler. Sie sind die unvermeidliche Folge der Funktionsweise von Sprachmodellen. Wer die Architektur versteht, sieht, warum selbstbewusst falsche Antworten immer Teil der Gleichung bleiben. date: February 5, 2026 author: Robert Soares category: ai-fundamentals --- Der Anwalt vertraute ChatGPT. Es lieferte ihm sechs Fallzitate. Er reichte sie beim Bundesgericht ein. Keiner der Fälle existierte. Das geschah im Mai 2023 und machte international Schlagzeilen. Der Richter verhängte Sanktionen gegen die beteiligten Anwälte. Der Berufsstand hatte einen kollektiven Moment der Panik. Aber hier ist der seltsame Teil: Die KI tat genau das, wofür sie gebaut wurde. ## Selbstbewusst und falsch Eine KI-Halluzination liegt vor, wenn ein Sprachmodell Informationen erzeugt, die völlig plausibel klingen, aber falsch sind. Manchmal ein bisschen falsch. Manchmal vollständig erfunden. Der Begriff stammt aus der Psychologie. Menschen halluzinieren, wenn ihr Gehirn Dinge wahrnimmt, die nicht da sind. Bei KI-Halluzinationen ist es ähnlich, nur dass das Modell Text erzeugt, der keinen Bezug zur Realität hat, und ihn mit unerschütterlicher Sicherheit präsentiert. Ein Nutzer auf Hacker News namens diputsmonro brachte es perfekt auf den Punkt: "All responses are hallucinations. Some hallucinations happen to overlap the truth." Das klingt provokant. Es ist auch technisch korrekt. Jede Ausgabe eines Sprachmodells ist eine Vorhersage darüber, welche Wörter als Nächstes kommen sollten. Manche Vorhersagen treffen Fakten. Manche nicht. Das Modell selbst kann den Unterschied nicht erkennen. ## Die Architektur erklärt alles Sprachmodelle speichern Fakten nicht so, wie eine Datenbank Datensätze speichert. Sie lernen statistische Muster. Sie lernen, dass auf bestimmte Wörter in bestimmten Kontexten meist bestimmte andere Wörter folgen. Sie lernen, dass auf Fragen zur Geschichte oft Daten folgen. Sie lernen, dass Zitate Autorennamen, Zeitschriftentitel und Jahre in Klammern enthalten. Wenn du ein LLM nach einem Zitat fragst, erzeugt es eines. Es produziert Text, der dem Muster eines Zitats entspricht, basierend auf Millionen Beispielen, die es während des Trainings aufgenommen hat. Ob dieses Zitat zu einer echten Arbeit gehört, die in der physischen Welt existiert, kann das Modell nicht beantworten, weil ihm dafür jeder Mechanismus fehlt. Das ist kein Softwarefehler. Das ist die grundlegende Architektur. Ein Kommentator namens zdragnar erklärte das Kernproblem auf Hacker News: "the model itself doesn't know the difference, and will proclaim bullshit with the same level of confidence." Diese Sicherheit ist der Killer. Menschen kalibrieren ihr Vertrauen danach, wie sicher jemand klingt. Wir haben uns in einer Umgebung entwickelt, in der selbstsichere Aussagen meist von Menschen mit direktem Wissen kamen. Eine KI, die darauf trainiert ist, Nutzerinteraktion zu maximieren, lernt, selbstsicher zu klingen, weil Selbstsicherheit belohnt wird. ## Warum Training es schlimmer macht Hier ist etwas Gegenintuitives. Die Art, wie wir Sprachmodelle trainieren, fördert Halluzinationen aktiv. Beim Training zeigt man dem Modell Millionen Beispiele und belohnt es, wenn seine Vorhersagen mit dem übereinstimmen, was in den Trainingsdaten tatsächlich als Nächstes kam. Das Modell bekommt Punkte, wenn es richtig liegt. Es bekommt null Punkte für "Ich weiß es nicht.". Wie ein Schüler, der merkt, dass eine leer gelassene Prüfungsfrage sicher zum Scheitern führt, lernt das Modell: Raten schlägt Unsicherheit zugeben. Forschung von Lilian Weng bei OpenAI weist darauf hin, dass Modelle neue Informationen beim Fine-Tuning langsamer lernen als Informationen, die zu ihrem bestehenden Wissen passen. Schlimmer noch: Sobald Modelle beim Fine-Tuning tatsächlich neue Fakten lernen, "they increase the model's tendency to hallucinate." Das Modell wird besser darin, Text zu erzeugen, der so aussieht, als enthalte er Fakten. Es wird nicht besser darin, echte Fakten von plausiblen Mustern zu unterscheiden. Es gibt außerdem ein Datenproblem. Internettexte sind die häufigste Trainingsquelle. Wie eine technische Analyse es formulierte: "Data crawled from the public Internet is the most common choice and thus out-of-date, missing, or incorrect information is expected." Das Modell behandelt korrekte und fehlerhafte Texte gleich. Beides sind nur Muster, die gelernt werden. ## Das Problem des sozialen Schweigens Menschliche Gespräche haben eine interessante Eigenschaft. Wenn Menschen etwas nicht wissen, bleiben sie meist still. In Kommentarspalten und Foren stehen vor allem selbstsichere Behauptungen. Niemand postet "Ich habe zu diesem Thema keine Ahnung.". Schweigen enthält keinen Text, aus dem man lernen könnte. Ein Hacker-News-Nutzer namens mike_hearn beschrieb dieses Muster: "The trouble is that the training sets contain few examples of people expressing uncertainty because the social convention on the internet is that if you don't know the answer, you don't post." Modelle lernen aus vorhandenem Text. Text, der nicht existiert, lehrt nichts. Der Korpus ist in Richtung Sicherheit verzerrt und weg von angemessener Unsicherheit. Das Modell erbt diese Verzerrung. ## Das Grenzproblem Ein Mensch kennt die Grenze zwischen Erinnerung und Vorstellung. Du kannst dich erinnern, wo du dein Auto geparkt hast, und gleichzeitig erkennen, dass du dir nur vorstellst, was im Handschuhfach liegen könnte. Das fühlt sich unterschiedlich an. Sprachmodelle haben so eine Grenze nicht. Mort96 formulierte es auf Hacker News so: "The distinction between 'this is information I truly think I know' and 'this is something I made up' doesn't exist in LLMs." Alles, was das Modell erzeugt, stammt aus demselben Prozess. Gut etablierte Fakten wiederzugeben bedeutet, Tokens vorherzusagen. Plausiblen Unsinn zu erfinden bedeutet, Tokens vorherzusagen. Gleicher Mechanismus. Gleiches Sicherheitsniveau. Kein internes Signal, das das eine vom anderen trennt. Deshalb sind Halluzinationen in der Praxis so gefährlich. Es gibt keinen Hinweis. Kein Zögern. Kein feines Merkmal, das verlässliche Ausgabe von Erfindung trennt. ## Warum das so schwer zu beheben ist Manche Probleme in der KI sind Ingenieursaufgaben. Mehr Rechenleistung, besserer Trainingsprozess, und Verbesserungen folgen. Halluzination ist anders. Mehrere Forschende haben untersucht, ob sich Halluzinationen in den aktuellen Architekturen beseitigen lassen. Der entstehende Konsens ist ernüchternd. Ein Kommentator namens calf meinte, das Problem könnte "formally unsolvable and should be rendered as absurd as someone claiming the Halting Problem is solvable." Das klingt extrem. Das technische Argument geht ungefähr so: Sprachmodelle sind statistische Approximationen. Sie können nicht alle berechenbaren Funktionen vollständig erfassen. Sie interpolieren immer zwischen Trainingsbeispielen, statt auf einen gesicherten Wahrheitskern zuzugreifen. Manche falschen Interpolationen sind unvermeidbar. Bessere Modelle halluzinieren seltener. Sie halluzinieren nicht zu null Prozent. Die Kurve nähert sich null, erreicht sie aber nie. Es gibt Strategien zur Minderung. Retrieval-Augmented Generation gibt Modellen Zugriff auf externe Dokumente und verankert Antworten dadurch stärker in tatsächlichen Quellen. Chain-of-Thought-Prompting zwingt Modelle, ihren Gedankengang zu zeigen, was Fehler manchmal auffängt, bevor sie sich aufschaukeln. Menschliche Prüfung bleibt der verlässlichste Detektor. Aber das sind Umgehungslösungen. Sie senken die Rate, ohne das Phänomen zu beseitigen. Die architektonische Grenze bleibt. ## Die Folgen, über die niemand spricht Die meisten Diskussionen über Halluzination enden mit praktischen Tipps. Quellen prüfen. Zitate verifizieren. Nicht blind vertrauen. Dieser Rat ist richtig und verpasst trotzdem etwas Tieferes. Wir bauen Infrastruktur auf Systemen auf, die eine von null verschiedene Rate selbstsicherer Erfindungen haben. Nicht Systeme, die manchmal unsicher sind. Systeme, die immer sicher klingen und manchmal in einer Weise falsch liegen, die von richtigen Antworten nicht zu unterscheiden ist. Jede Branche, die mit LLMs automatisiert, akzeptiert das implizit. Juristische Recherche. Medizinische Triage. Finanzanalyse. Kundensupport. Code-Erzeugung. Die Effizienzgewinne sind real. Die eingebaute Halluzinationsrate auch. Elcritch beobachtete in einem Kommentar zur LLM-Codeerzeugung: "LLMs will just outright lie to make their jobs easier in one section while in another area generate high quality code." Dasselbe Modell, derselbe Prompt, ungleichmäßige Verlässlichkeit. Nicht, weil etwas schiefgelaufen ist. Sondern weil das System so funktioniert. ## Was Halluzinationen uns zeigen Halluzinationen zeigen etwas über die Natur von Sprache, dem Menschen sich selten stellen. Ein Satz kann grammatikalisch perfekt, semantisch stimmig, stilistisch passend und trotzdem vollständig falsch sein. Sprachstrukturen verlangen keine Wahrheit. Überzeugende Prosa muss nicht der Realität entsprechen. Autorität im Text ist eine Inszenierung, keine Garantie. Menschen nutzen Kontext, um Täuschung zu erkennen. Wir kennen den Sprecher. Wir kennen seine Vorgeschichte. Wir wissen, welche Anreize ihn zum Irreführen bewegen könnten. Wir wenden Skepsis an, abgestimmt auf die Situation. KI-Ausgaben kommen ohne diesen Kontext. Keine Vorgeschichte mit genau dieser Anfrage. Keine Anreize, die wir modellieren können. Keine Beziehungshistorie. Nur Text, der genauso klingt wie Text von einem Experten, der seine Fakten geprüft hat. Die Last verschiebt sich vollständig auf die Lesenden. Jede Behauptung wird verdächtig, bis sie unabhängig geprüft ist. Jedes Zitat muss kontrolliert werden. Jede Statistik braucht eine Quelle. Ein Teil der Effizienz von KI-Erzeugung wird vom Mehraufwand der Prüfung aufgezehrt. ## Das unbequeme Gleichgewicht Die Modelle werden sich weiter verbessern. Die Halluzinationsraten werden weiter sinken. Anspruchsvolleres Training wird Überkonfidenz stärker bestrafen. Bessere Architekturen könnten irgendwann etwas wie Unsicherheitsquantifizierung integrieren. Aber die grundlegende Dynamik bleibt. Diese Systeme sagen Muster voraus. Muster sind nicht gleich Wahrheit. Manche Vorhersagen werden immer außerhalb der Grenzen von Fakten landen. Vielleicht geht es bei der eigentlichen Lektion gar nicht um KI. Menschen haben schon immer in Umgebungen gelebt, in denen selbstsichere Behauptungen sich manchmal als falsch erweisen. Wir haben Institutionen entwickelt, um damit umzugehen: Peer Review, redaktionelle Aufsicht, juristische Beweisaufnahme, wissenschaftliche Replikation. Vertrauen, aber prüfen. Quelle beachten. Das Original prüfen. KI-Halluzinationen führen kein neues Problem ein. Sie verstärken ein altes. Sie erzeugen plausibel klingende Aussagen in einem Volumen und einer Geschwindigkeit, die unsere traditionellen Prüfprozesse überfordern. Der Anwalt, der erfundene Zitate eingereicht hat, ist nicht gescheitert, weil er KI benutzt hat. Er ist gescheitert, weil er vertraut hat, ohne zu prüfen. Dieses Scheitern war schon vor ChatGPT möglich. Es war nur langsamer zu begehen. Die unbequeme Wahrheit ist, dass Halluzinationen uns zwingen, uns an etwas zu erinnern, das wir vergessen konnten: dass Flüssigkeit im Ausdruck nicht Genauigkeit ist, dass Selbstsicherheit nicht Korrektheit ist und dass die Beziehung zwischen Worten und Wahrheit schon immer brüchiger war, als wir zugeben möchten. Jeder Satz, den du je gelesen hast, auch dieser hier, könnte falsch sein. Die Frage war nie, ob man vertrauen sollte. Es ging immer darum, wie man verifiziert.