Glossar
Halluzination:
wenn ein Modell Falsches plausibel sagt.
Eine Halluzination ist keine Lüge und kein Defekt im üblichen Sinn. Sie ist die Nebenwirkung eines Verfahrens, das Wahrscheinliches liefert statt Geprüftes. Wer das weiß, baut passende Sicherungen.
Kurz gesagtEine Halluzination ist eine Ausgabe eines Sprachmodells, die plausibel klingt, aber nicht stimmt oder nicht belegt ist, etwa erfundene Zahlen, Quellen oder Zusagen. Sie lässt sich nicht vollständig ausschließen, aber mit Quellenpflicht, engen Aufgaben und Prüfung stark begrenzen.
Warum Modelle halluzinieren
Ein Sprachmodell bildet Sätze, die zum bisherigen Text passen. Es prüft dabei nicht gegen eine Faktendatenbank. Fehlt ihm das Wissen, füllt es die Lücke mit dem, was in solchen Zusammenhängen üblich wäre. Das Ergebnis klingt fachlich, ist aber im Zweifel ausgedacht: eine Gesetzesnummer, die es nicht gibt, ein Lieferzeitraum, den niemand zugesagt hat, ein Zitat ohne Urheber.
Typische Auslöser sind unklare Fragen, fehlende Unterlagen und der Druck, unbedingt eine Antwort zu liefern. Ein Modell, das nie „ich weiß es nicht“ sagen darf, tut es auch nicht. Deshalb gehört die Erlaubnis zur Unsicherheit in jede Systemanweisung, siehe Systemanweisung.
Der Begriff ist umstritten, weil er Wahrnehmung suggeriert. Technisch geht es um Fehlausgaben. Für die Praxis genügt die Folgerung: Jede Aussage eines Modells, die nicht aus einer vorgelegten Quelle stammt, ist ein Vorschlag und kein Fakt.
Beispiel (Die freundliche Falschauskunft)
Fiktives Beispiel, kein Kundenfall.
Ein Kunde fragt einen unvorbereiteten Chatbot, ob für seine Bestellung die Rückgabe noch kostenlos ist. Das System antwortet freundlich: Ja, innerhalb von dreißig Tagen. Der Händler gewährt tatsächlich nur vierzehn. Die Zahl hat sich das Modell aus dem Umfeld ähnlicher Texte genommen. Der Kunde beruft sich später auf die Auskunft.
Ein Betrieb mit Wissensagent hätte denselben Fall anders gelöst. Die Antwort stammt aus den hinterlegten Rückgabebedingungen, nennt die Fundstelle, und fehlt die Regel, übergibt das System an einen Menschen. Der Fehler wäre nicht ausgeschlossen, aber früh sichtbar und nachvollziehbar.
Was Halluzinationen von gewöhnlichen Fehlern unterscheidet
Ein gewöhnlicher Softwarefehler ist reproduzierbar: Gleiche Eingabe, gleiche Fehlfunktion. Eine Halluzination kann dagegen bei einer zweiten Anfrage verschwinden oder in anderer Form wiederkehren. Das erschwert die Fehlersuche und erklärt, warum eine einzelne erfolgreiche Probe nichts beweist.
Hinzu kommt die Tonlage. Menschen schließen von sicherem Auftreten auf Richtigkeit. Ein Modell formuliert falsche Sätze genauso souverän wie richtige. Das Team muss daher lernen, Form und Inhalt zu trennen. Hilfreich ist eine Regel, dass Aussagen ohne Quelle nicht in Texte nach außen wandern.
Schließlich trifft die Halluzination Menschen unterschiedlich. Fachleute bemerken Ungereimtheiten schneller als Berufsanfänger. Wenn Berufsanfänger Entwürfe freigeben sollen, braucht es entsprechend mehr Hilfen: Quellenverweise, Prüflisten und eine Ansprechperson für Zweifelsfälle.
Was gegen Halluzinationen hilft
- Quellen vorlegenDas Modell antwortet nur aus freigegebenen Unterlagen, siehe RAG.
- Quelle zeigenJede Antwort nennt Dokument und Stelle, sodass Menschen in Sekunden gegenprüfen können.
- Unsicherheit erlaubenDie Anweisung verlangt „weiß ich nicht“ statt Raten. Der Fall geht an einen Menschen.
- Aufgabe verengenJe enger die Aufgabe, desto kleiner der Raum für Erfindungen. Nachschlagen statt Erzählen.
- Stichproben prüfenRegelmäßige Kontrolle, siehe Stichprobenprüfung.
Keine dieser Maßnahmen beseitigt das Risiko vollständig. Zusammen senken sie es auf ein Maß, das sich im Alltag kontrollieren lässt.
Entscheidend ist die Kombination. Eine Quellenpflicht ohne Prüfung bleibt wirkungslos, und eine Prüfung ohne klare Quelle kostet viel Zeit. Erst wenn die Antwort zeigt, woher sie stammt, kann eine Person schnell entscheiden, ob sie trägt.
Wo Halluzinationen besonders teuer werden
- Preise, Rabatte und Zusagen, die später eingefordert werden
- Fristen und Rechtsaussagen, die jemand für verbindlich hält
- Gesundheits- und Sicherheitsauskünfte
- Zitate und Quellenangaben in Berichten und Angeboten
- Zahlen in Auswertungen, die Entscheidungen vorbereiten
In diesen Feldern erledigt das System höchstens Vorarbeit. Aussagen mit Wirkung nach außen gibt ein Mensch frei. Bei Entscheidungen mit rechtlicher Wirkung gegenüber Personen haben Betroffene nach Art. 22 DSGVO das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden.
Planen Sie in diesen Feldern bewusst mehr Prüfzeit ein als bei Routineauskünften, auch wenn der Entwurf überzeugend klingt.
Halluzination erkennen: Prüfliste für Ihr Team
- Stimmen Zahlen, Namen und Daten mit der Quelle überein?
- Gibt es die genannte Quelle wirklich, und steht darin, was behauptet wird?
- Klingt eine Aussage sehr glatt, obwohl die Unterlage Ausnahmen kennt?
- Verspricht der Text etwas, das nur Ihr Betrieb zusagen darf?
- Fehlt eine Einschränkung, die in der Unterlage steht?
Ein Team, das diese fünf Fragen kennt, fängt Fehler früher ab. Gut ist es, wenn jede Freigabe vermerkt, wer geprüft hat. Mehr zum Zusammenspiel von System und Mensch unter Human in the Loop.
Unser Umgang damit
In unserem Vorgehen gilt Quellenpflicht, ein Rückfall bei Wissenslücken und eine Testphase mit gezielt schwierigen Fragen. Hinzu kommt der Grundsatz, dass Aussagen mit Wirkung nach außen erst nach menschlicher Freigabe das Haus verlassen, auch wenn das System sie als sicher einstuft. Mehr zur Arbeitsweise finden Sie unter KI-Transparenz und bei Support-Automatisierung.
Auffälligkeiten aus der Testphase werden festgehalten und fließen in die Anweisungen und die Wissensbasis zurück. So wird aus einem entdeckten Fehler eine Regel, die den nächsten verhindert, statt nur eine Einzelkorrektur zu bleiben.
Weitere Fragen aus der Praxis
Wie testen Sie, ob ein System zu Halluzinationen neigt?
Wir stellen vor dem Start gezielt Fragen, deren Antwort nicht in der Wissensbasis steht, außerdem Fragen mit falschen Annahmen und mehrdeutige Anfragen. Das System soll in diesen Fällen nachfragen oder übergeben. Das Ergebnis halten wir schriftlich fest und wiederholen den Test nach größeren Änderungen.
Häufige Fragen
Lässt sich Halluzination ganz abschalten?
Nein. Sie lässt sich eindämmen, aber bei Sprachmodellen nicht vollständig ausschließen. Deshalb planen wir Quellenangabe, Rückfall und Kontrolle fest ein.
Sind neuere Modelle frei davon?
Auch neuere Modelle können Falsches plausibel formulieren. Besser werden Systeme durch Aufbau: Quellen, enge Aufgaben, Prüfung.
Wie bemerke ich einen Fehler, den niemand prüft?
Gar nicht, daher die Stichprobe. Eine feste Prüfung kleiner Mengen deckt Muster auf, bevor sie größeren Schaden anrichten.
Wer haftet für eine falsche Auskunft des Systems?
Wer haftet, klärt im Einzelfall eine fachkundige Rechtsberatung.
Ist eine Halluzination dasselbe wie ein Programmierfehler?
Nein. Ein Programmierfehler ist reproduzierbar und lässt sich beheben. Eine Halluzination entsteht aus der Arbeitsweise des Modells und kann je Anfrage anders ausfallen. Sie wird durch den Aufbau des Systems begrenzt, nicht durch einen einzelnen Fix.
Quellen und rechtlicher Rahmen
- DSGVO, Art. 22 (automatisierte Entscheidungen): Betroffene haben das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. (abgerufen 21. Oktober 2026)
Die Zusammenfassungen sind sinngemäß; maßgeblich sind die verlinkten Originaltexte. Das ist ein allgemeiner Überblick zu Ihrem Umfeld, keine Rechtsberatung und keine Aussage zu Ihrem Einzelfall.
Autor: Melvin Mümken, Gründer & Technischer Leiter. Stand: 22.10.2026. Die Hinweise sind ein allgemeiner Überblick und keine Rechtsberatung.