Glossar
RAG:
erst nachschlagen, dann antworten.
RAG ist das Verfahren, das aus einem allgemeinen Sprachmodell ein System macht, das Ihre Unterlagen kennt. Es verbindet Suche und Textgenerierung und macht Antworten überprüfbar.
Kurz gesagtRAG steht für Retrieval-Augmented Generation, auf Deutsch etwa Abruf-gestützte Antworterzeugung. Das System sucht zu einer Frage passende Stellen in Ihren Unterlagen und lässt das Sprachmodell nur auf dieser Grundlage antworten. Quellenangaben machen die Antwort prüfbar.
Was RAG bedeutet
Ein Sprachmodell kennt Ihre Preise, Richtlinien und Abläufe nicht. Es könnte sie nur aus allgemeinem Wissen erraten, was zu Halluzinationen führt. RAG löst das in zwei Schritten. Zuerst durchsucht das System Ihre Unterlagen und holt die Abschnitte, die zur Frage passen. Dann bekommt das Modell Frage und Abschnitte zusammen und soll nur daraus antworten.
Der Name beschreibt genau das: Abruf (retrieval) ergänzt (augmented) die Erzeugung (generation). Das Modell muss nichts auswendig wissen, sondern liest wie ein Mitarbeiter mit offenem Handbuch.
Für Betriebe hat das drei praktische Folgen. Die Auskunft ist aktuell, weil sie aus den heutigen Unterlagen stammt. Sie ist nachvollziehbar, weil die Fundstelle mitgeliefert wird. Und sie lässt sich ändern, ohne das Modell neu zu trainieren: Man ändert das Dokument.
Der Ablauf in vier Schritten
- Frage verstehenDie Anfrage wird in eine Zahlenreihe übersetzt, siehe Embedding.
- Stellen findenDie Vektordatenbank liefert die passendsten Abschnitte samt Quelle und Stand.
- Antwort formulierenDas Sprachmodell erhält Frage und Abschnitte mit der Anweisung, nur daraus zu antworten und die Quelle zu nennen.
- Prüfen und übergebenFehlt die Antwort in den Abschnitten, sagt das System das und übergibt. Sonst erscheint Antwort samt Quellenverweis.
Beispiel (Rückfrage zu einer Garantiebedingung)
Fiktives Beispiel, kein Kundenfall.
Eine Kundin fragt einen Hersteller von Gartengeräten, ob ein Rasenmäher, der im Vorjahr gekauft wurde, noch unter Garantie steht, wenn er einen Motorschaden hat. Das System sucht in den Garantiebedingungen, findet den Abschnitt zu Motorschäden und liefert ihn mit Dokumentname und Stand. Das Modell formuliert eine Antwort, die den Abschnitt wiedergibt, und weist darauf hin, dass für die Prüfung der konkreten Kaufbelege das Serviceteam zuständig ist.
Der Entwurf geht zur Freigabe an einen Menschen, weil die Entscheidung über einen Garantiefall eine Zusage mit Wirkung ist. Das System hat suchen und formulieren übernommen, nicht entscheiden.
Beachtenswert ist die Rolle der Fundstelle. Sie erlaubt der prüfenden Person, die Aussage mit dem Originaltext zu vergleichen, und zeigt zugleich, wenn die Unterlage selbst unklar ist. In diesem Fall wird sie nachgebessert, statt dass der Entwurf stärker ausgeschmückt wird.
RAG im Vergleich zu Alternativen
| Ansatz | Wissen kommt aus | Aktualisieren | Quellenangabe |
|---|---|---|---|
| Nur Sprachmodell | Trainingswissen | Nicht möglich | Nein |
| RAG | Ihren Unterlagen | Dokument ändern | Ja |
| Fine-Tuning | Zusatztraining | Neu trainieren | Nein |
| Alles in die Anfrage kopieren | Mitgeschickter Text | Text ändern | Eingeschränkt, begrenzt durch das Kontextfenster |
Für Betriebe mit wechselnden Preisen, Regeln und Produkten kann RAG die passendere Wahl als Fine-Tuning sein, weil Änderungen ohne Training wirken.
Grenzen und Risiken
- Nur so gut wie die Unterlagen. Veraltete oder widersprüchliche Dokumente führen zu veralteten oder widersprüchlichen Antworten.
- Falsche Treffer. Findet die Suche die falsche Stelle, antwortet das Modell sauber, aber falsch. Quellenangabe und Stichproben fangen das ab.
- Restrisiko. Auch mit RAG kann ein Modell die Stelle falsch deuten oder Lücken füllen. Deshalb bleibt bei Aussagen mit Wirkung ein Mensch beteiligt.
- Datenschutz. Die Unterlagen werden verarbeitet. Bei Dienstleistern braucht es einen Vertrag (Art. 28 DSGVO), bei Auskünften an Kunden den KI-Hinweis, wo er nicht offensichtlich ist (Art. 50 Abs. 1 KI-Verordnung).
Woran man ein gutes RAG-System erkennt
- Jede Antwort nennt Dokument und Stelle.
- Fragen außerhalb der Unterlagen werden ehrlich mit „weiß ich nicht“ beantwortet.
- Es gibt einen sichtbaren Stand pro Dokument und einen Verantwortlichen.
- Ein fester Satz von Testfragen wird nach Änderungen erneut durchlaufen.
- Der Weg zu einem Menschen ist immer offen.
Diese Merkmale sind unabhängig von der verwendeten Technik. Sie sind der Maßstab, an dem wir Projekte abnehmen. Zur laufenden Pflege siehe Wissensbasis-Pflege.
Typische Stolpersteine bei der Einführung
Dubletten in den Unterlagen. Liegen drei Fassungen derselben Preisliste im Ordner, findet die Suche alle drei, und das Modell muss raten, welche gilt. Vor dem Start räumen wir mit Ihnen auf und legen fest, welches Dokument verbindlich ist.
Unklare Zuständigkeit. Wenn niemand für die Wissensbasis verantwortlich ist, veraltet sie leise. Benennen Sie eine Person und eine Vertretung und legen Sie einen festen Rhythmus für die Durchsicht fest.
Zu hohe Erwartung am ersten Tag. Ein RAG-System beantwortet, was in den Unterlagen steht. Fragen, für die es kein Dokument gibt, zeigen Lücken auf. Diese Liste ist der wertvollste Ertrag der ersten Wochen, weil sie sagt, welches Wissen bisher nur in Köpfen liegt.
Fehlende Tests nach Änderungen. Auch kleine Änderungen an Unterlagen oder Anweisungen können Antworten verschieben. Ein fester Satz Testfragen, der nach jeder Änderung durchläuft, macht solche Verschiebungen sichtbar.
Wo wir RAG einsetzen
RAG ist die Grundlage unseres Wissensagenten, mit dem Projekte beginnen: ab 1.000 € Setup und ab 100 € im Monat. Aufbauend lässt sich der Agent mit Systemzugriff erweitern, siehe KI-Agenten entwickeln und Support-Automatisierung.
Weitere Fragen aus der Praxis
Wie prüfe ich, ob die Antworten zuverlässig sind?
Mit einem festen Satz Testfragen, deren richtige Antwort und Fundstelle Sie kennen. Das System muss die Fundstelle treffen und bei Lücken übergeben. Nach jeder Änderung an Unterlagen oder Anweisungen läuft der Satz erneut durch.
Häufige Fragen
Was ist der Unterschied zwischen RAG und Fine-Tuning?
RAG holt bei jeder Anfrage Wissen aus Ihren Unterlagen. Fine-Tuning verändert das Modell durch Zusatztraining. Für wechselnde Fakten wie Preise ist RAG besser, für Ton und Format kann Fine-Tuning sinnvoll sein.
Kann RAG Halluzinationen verhindern?
Es senkt das Risiko deutlich, schließt es aber nicht aus. Quellenangabe, Rückfall bei Wissenslücken und Stichproben bleiben nötig.
Wie aktuell sind die Antworten?
So aktuell wie die Unterlagen in Ihrer Wissensbasis. Wird ein Dokument ersetzt und neu eingelesen, gilt die neue Fassung sofort.
Brauche ich dafür eigene Server?
Nicht zwingend. Wir wählen mit Ihnen anhand von Datenschutz und Aufwand zwischen gehosteten Diensten und eigenen Lösungen.
Funktioniert RAG mit Tabellen und PDFs?
Ja, wenn der Inhalt maschinenlesbar ist. Gescannte Dokumente werden vorab per Texterkennung aufbereitet, siehe Dokumentenerkennung (OCR).
Quellen und rechtlicher Rahmen
- DSGVO, Art. 28 (Auftragsverarbeiter): Verarbeitet ein Dienstleister personenbezogene Daten im Auftrag, arbeitet der Verantwortliche nur mit Auftragsverarbeitern, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten. Die Verarbeitung folgt einem Vertrag, der unter anderem Gegenstand, Dauer, Art und Zweck festlegt. (abgerufen 21. Oktober 2026)
- KI-Verordnung (EU) 2024/1689, Art. 50 Abs. 1 (konsolidiert, Stand 27.7.2026): Anbieter von KI-Systemen, die direkt mit Personen interagieren, stellen sicher, dass diese informiert werden, dass sie mit einem KI-System interagieren, es sei denn, das ist aus den Umständen offensichtlich. Der Artikel gilt seit dem 2. August 2026. (abgerufen 21. Oktober 2026)
Die Zusammenfassungen sind sinngemäß; maßgeblich sind die verlinkten Originaltexte. Das ist ein allgemeiner Überblick zu Ihrem Umfeld, keine Rechtsberatung und keine Aussage zu Ihrem Einzelfall.
Autor: Melvin Mümken, Gründer & Technischer Leiter. Stand: 22.10.2026. Die Hinweise sind ein allgemeiner Überblick und keine Rechtsberatung.