Website besuchen →
← Zurück zum Blog

RAG erklärt: Wie Retrieval-Augmented Generation funktioniert

5. Oktober 2026
RAG erklärt: Wie Retrieval-Augmented Generation funktioniert

RAG (Retrieval-Augmented Generation) kombiniert ein Sprachmodell mit einer externen Wissensquelle, um bei jeder Anfrage faktengestützte, aktuelle Antworten zu liefern, ohne das Modell neu zu trainieren. Die Pipeline läuft dabei über vier Stufen: Chunking und Indexierung, Retrieval, Augmentierung und Generierung. Genau diese Reihenfolge entscheidet, ob am Ende eine belastbare Antwort steht oder eine plausibel klingende Erfindung.

Kurz gesagt:

  • Retrieval-augmented Systeme müssen bei der Datenaufbereitung und Indexierung konsequent hochwertige Dokumentchunks erstellen, um genaue Antworten zu gewährleisten.
  • Bei seltenen oder unbeantwortbaren Fragen sollte das System explizit „das weiß ich nicht“ sagen, um Vertrauen und Zuverlässigkeit zu sichern.
  • Für Fakten, die sich regelmäßig ändern, ist RAG kostengünstiger und flexibler als kontinuierliches Fine-Tuning, da nur der Index aktualisiert werden muss.
  • Schlechte Datenqualität im Index führt zu grundsätzlich unzuverlässigen Ergebnissen, weshalb eine sorgfältige Pflege und Governance unerlässlich sind.
  • Kritisch ist die klare Trennung zwischen Retrieval-Qualität und generativer Zuverlässigkeit, um Fehlerquellen frühzeitig zu erkennen und zu optimieren.
Menter
menter.digital
RAG passend im Unternehmen einsetzen
Menter unterstützt KMU mit strategischer KI-Beratung, Workshops und praxisnahen Lösungen für branchenspezifische Herausforderungen.
KI-Beratung entdecken

Inhaltsverzeichnis

Was ist RAG? Kontext und Ursprungsidee

Ein klassisches Sprachmodell trägt sein Wissen in seinen Parametern. Es wurde einmal trainiert, und alles, was danach passiert ist, kennt es schlicht nicht. RAG löst dieses Problem, indem es dem Modell zur Laufzeit einen externen Speicher zur Seite stellt: eine Datenbank, ein Dokumentenarchiv oder ein internes Wiki, aus dem relevante Passagen abgerufen und in die Anfrage eingespeist werden. Die Grundidee wurde durch die Arbeit von Lewis et al. aus dem Jahr 2020 bekannt, die genau dieses Prinzip beschreibt: Antworten stützen sich auf abgerufene Kontextdaten statt allein auf die im Modell gespeicherten Parameter.

Reine parametrische Modelle haben dabei drei strukturelle Schwächen:

  • Sie veralten, sobald sich die Fakten ändern, ein Nachtraining ist teuer und langsam.
  • Sie halluzinieren, wenn ihnen Wissen fehlt, oft ohne erkennbare Unsicherheit in der Formulierung.
  • Sie liefern keine Quellenangabe, eine Antwort lässt sich nicht gegen das Original prüfen.

RAG begegnet allen drei Punkten gleichzeitig. Statt das Modell neu zu trainieren, aktualisiert man einfach den Index. Statt zu raten, zitiert das Modell aus echten Dokumenten. Und weil der abgerufene Text sichtbar bleibt, lässt sich jede Aussage zurückverfolgen.

Wie funktioniert RAG? Die vier Kernschritte im Detail

Ein funktionierendes RAG-System besteht aus vier Stufen, die in Praxisleitfäden konsistent beschrieben werden: Datenindexierung, Abruf, Augmentierung und Antwortgenerierung. Jede Stufe hat eigene Stellschrauben, und ein Fehler in einer frühen Stufe pflanzt sich unweigerlich durch die ganze Kette fort.

  1. Datenaufbereitung: Dokumente werden in Chunks zerlegt, meist zwischen 200 und 800 Tokens, mit Metadaten wie Titel, Datum oder Abteilung versehen und teilweise durch kurze Zusammenfassungen ergänzt.
  2. Embeddings und Indexierung: Jeder Chunk wird in einen Vektor übersetzt und in einer Vektordatenbank abgelegt, dort bleibt er durchsuchbar, bis sich der Quelltext ändert.
  3. Retrieval: Die Anfrage wird selbst in einen Vektor umgewandelt, das System sucht per semantischer Ähnlichkeit die passendsten Chunks und reiht sie häufig per Reranking noch einmal nach Relevanz.
  4. Augmentierung und Generierung: Die gefundenen Passagen werden in den Prompt eingefügt, ein Orchestrator steuert die Reihenfolge, und das Modell generiert die Antwort, idealerweise mit einer klaren Regel, bei fehlendem Kontext lieber zu schweigen als zu raten.

Dieser letzte Punkt, oft als Abstinenzregel oder „refusal contract“ bezeichnet, trennt gute RAG-Systeme von unzuverlässigen. Ein Modell, das bei dünner Beleglage einfach weiterredet, unterläuft den ganzen Zweck der Architektur.

Profi-Tipp: Testen Sie früh, ob Ihr System bei einer bewusst unbeantwortbaren Frage ehrlich „das weiß ich nicht“ sagt, statt eine erfundene Antwort zu produzieren.

Technische Bausteine: Embeddings, Vektordatenbanken und Chunking

Hinter den vier Pipeline-Schritten stehen konkrete Bausteine, die über die Qualität des Ergebnisses entscheiden.

Embeddings sind numerische Darstellungen von Text, die semantische Nähe abbilden: Zwei Sätze mit ähnlicher Bedeutung liegen im Vektorraum nah beieinander, selbst wenn sie unterschiedliche Wörter verwenden. Sie entstehen durch ein spezialisiertes Modell, das Text in einen Vektor fester Länge umrechnet.

Vektordatenbanken speichern diese Vektoren und müssen bei wachsendem Datenbestand niedrige Latenz halten, oft auch mehrsprachige oder multimodale Inhalte verarbeiten. Es gibt dedizierte Vektordatenbanken genauso wie Vektorerweiterungen für klassische Datenbanksysteme, die Wahl hängt vom bestehenden Technikstack ab.

Beim Chunking stehen mehrere Strategien zur Verfügung:

  • Filet-süße Chunking teilt Text in gleich große Blöcke, einfach umzusetzen, aber unsensibel für inhaltliche Grenzen.
  • Hierarchisches Chunking respektiert Dokumentstruktur wie Kapitel und Abschnitte.
  • Semantisches Chunking schneidet dort, wo sich das Thema inhaltlich ändert, meist mit besserer Retrieval-Qualität, dafür rechenaufwendiger.

Für Unternehmensdaten kommen meist Konnektoren zu Confluence, SharePoint oder Objektspeichern wie S3 zum Einsatz, die den Index über geplante Synchronisationsläufe aktuell halten.

RAG vs. Fine-Tuning: Wann reicht Retrieval, wann braucht es Training?

Der Unterschied ist im Kern einfach: RAG liefert Wissen zur Anfragezeit, Fine-Tuning verändert das Verhalten des Modells dauerhaft. Für Faktenwissen, das sich ändert, Preise, Richtlinien, Produktdaten, ist RAG fast immer die passendere Wahl, weil sich der Index aktualisieren lässt, ohne das Modell neu zu trainieren. Fine-Tuning eignet sich dagegen eher für Stil, Tonfall oder ein wiederkehrendes Antwortformat.

Praxisempfehlungen sehen RAG als guten Ausgangspunkt für die meisten faktenintensiven Geschäftsszenarien, während Produktionssysteme beide Ansätze häufig kombinieren.

Ein einfacher Diagnosetest hilft bei der Entscheidung: Fügen Sie den idealen Kontext einfach manuell in den Prompt ein. Löst das Problem, brauchen Sie Retrieval, keine Modelländerung. Bleibt die Antwort trotzdem falsch im Ton oder Format, liegt das Problem beim Verhalten des Modells, und Fine-Tuning wird relevant.

  • RAG: niedrigere Wartungskosten, da sich nur der Index ändert.
  • Fine-Tuning: höhere Trainingskosten, dafür dauerhaft verändertes Antwortverhalten.
  • Kombination: Fine-Tuning für Format und Ton, RAG für die eigentlichen Fakten.

Eine systematische Übersicht über 128 Studien zwischen 2020 und 2025 zeigt, dass hybride Retrieval-Designs und provenance-bewusste Pipelines in vielen Domänen zu besseren Ergebnissen führen als reines Fine-Tuning allein.

Praktische Anwendungsfälle und Vorteile von RAG

RAG eignet sich überall dort, wo Antworten auf aktuellem, firmenspezifischem Wissen beruhen müssen, statt auf allgemeinem Trainingswissen.

  • Interne Wissenschatbots beantworten Fragen zu Richtlinien, Prozessen oder Produktdetails direkt aus dem eigenen Dokumentenbestand.
  • Support-Automatisierung zieht Antworten aus Handbüchern und Tickethistorien statt generische Floskeln zu produzieren.
  • Forschung und Dokumentenanalyse lassen sich beschleunigen, wenn ein System große Textmengen durchsucht und zitierfähige Auszüge liefert.
  • Domänenspezifische Anwendungen, etwa in Recht oder Technik, profitieren von Antworten, die sich direkt auf Quelldokumente stützen.

Der Mehrwert liegt in drei Punkten: Aktualität, weil sich der Index laufend pflegen lässt, Nachvollziehbarkeit, weil jede Antwort auf eine konkrete Quelle verweist, und schnelle Updates ohne aufwendiges Neutraining.

Dem stehen reale Risiken gegenüber: Schlechte Datenqualität im Index führt direkt zu schlechten Antworten. Sicherheitsfragen wie Datenleckagen oder gezielte Manipulation des Wissensbestands, sogenanntes Poisoning, gehören laut einer aktuellen Übersichtsarbeit zu den wachsenden Risiken, die bei der Architekturentscheidung mitgedacht werden müssen.

Darstellung von Datenqualität und RAG-Sicherheitsrisiken

Evaluierung und Metriken: Woran erkennt man gute RAG-Systeme?

Ein RAG-System braucht zwei getrennte Prüfungen: Funktioniert das Retrieval, und ist die Generierung verlässlich? Eine saubere Trennung hilft, Fehlerquellen richtig zuzuordnen, wie eine systematische Literaturübersicht empfiehlt.

Auf der Retrieval-Seite zählen vor allem:

  • Recall@k: Wie oft taucht der relevante Chunk unter den ersten k Ergebnissen auf?
  • MRR@k (Mean Reciprocal Rank): Wie weit oben steht der erste relevante Treffer im Schnitt?
  • Hit Rate: Wird überhaupt irgendein brauchbarer Treffer gefunden?

Auf der Generierungsseite geht es um Faithfulness, also ob die Antwort tatsächlich durch den abgerufenen Kontext gedeckt ist, ergänzt durch klassische Textmetriken wie Exact Match oder F1-Score sowie menschliche Bewertungen, wo automatische Metriken an ihre Grenzen stoßen.

Für den Start lohnt sich ein kleines, von Hand gelabeltes Testset mit typischen Fragen und bekannten richtigen Antworten, auf dessen Basis sich Recall, MRR und Faithfulness laufend überwachen lassen, statt erst im Produktivbetrieb Überraschungen zu erleben.

Umsetzungs-Tipps: Datenaufbereitung, Prompts und Governance

Ein Pilotprojekt steht oder fällt mit der Datenvorbereitung, nicht mit der Wahl des Sprachmodells.

  1. Content-Engineering betreiben: Klare Überschriften setzen, lange Abschnitte durch Zusammenfassungen ergänzen und Tabellen in flache Listen umwandeln, denn tabellenreiche Dokumente verschlechtern sonst die semantische Suche deutlich.
  2. Chunking-Parameter festlegen: Chunkgröße, Überlappung und hierarchische Struktur definieren und den Index bei jeder Dokumentänderung aktuell halten.
  3. Prompt-Pattern einbauen: Eine explizite Abstinenzregel formulieren, die das Modell zum Schweigen anhält, wenn der Kontext nicht ausreicht, zusätzlich das Kontextfenster bewusst begrenzen.
  4. Governance aufsetzen: Zugriffskontrollen auf Dokumentebene, Provence-Protokolle für jede Antwort und einen klaren Prozess für Updates und Löschungen definieren.

Profi-Tipp: Beginnen Sie mit einem kleinen, gut gepflegten Dokumentenbestand statt mit dem gesamten Unternehmensarchiv, denn ein sauberer kleiner Index schlägt einen unaufgeräumten großen fast immer.

Menter-Perspektive: Warum sich eine Prüfung für KMU lohnt

Bei unseren Beratungsmandaten für kleine und mittelständische Unternehmen sehen wir immer wieder, dass der technische Teil von RAG lösbar ist, der Engpass aber bei Datenqualität und Governance liegt. Unsere Leistungen umfassen Workshops und Strategieberatung, in denen wir genau diese Fragen vorab klären: Welche Dokumente eignen sich für einen Pilotversuch, wer braucht Zugriff, und wie bleibt die Lösung datenschutzkonform. Als zertifizierte IN QA-Coaches richten wir diese Beratung auf Branche und Unternehmensgröße aus.

Was RAG wirklich leistet und wo die Erwartung zu hoch ist

RAG wird oft als Lösung gegen Halluzinationen verkauft, als wäre die Technik an sich schon die Garantie für korrekte Antworten. Das stimmt so nicht. Ein RAG-System ist nur so gut wie sein Index, und ein schlecht gepflegter, veralteter oder unvollständiger Dokumentenbestand produziert zuverlässig falsche Antworten, nur eben mit einem Zitat daneben, das Vertrauen schafft, wo keines gerechtfertigt ist.

Die unterschätzte Arbeit liegt nicht im Modell, sondern in der Datenaufbereitung: Chunking-Strategie, Metadatenpflege und eine ehrliche Abstinenzregel entscheiden über Erfolg oder Misserfolg weit stärker als die Wahl zwischen zwei ähnlich starken Sprachmodellen. Wer ein Pilotprojekt startet, sollte deshalb zuerst in Dokumentenstruktur und KI-Talent für Implementationsteams sowie Testdatensätze investieren, nicht in die neueste Modellversion. Das ist weniger glamourös, aber genau der Hebel, der am Ende zählt.

— Shaun

Erste Schritte zur RAG-Einführung mit unserer Unterstützung

Wer RAG im eigenen Unternehmen einführen will, profitiert von einer klaren Vorgehensweise statt von einem überstürzten Pilotprojekt. Genau hier setzen wir an: Mit Strategieberatung analysieren wir Ihre bestehenden Datenquellen und Prozesse, entwickeln einen individuellen Fahrplan und begleiten Mitarbeitertrainings, damit das Team den Umgang mit der neuen Lösung von Anfang an versteht.

Menter

  • Strategieberatung zur Auswahl geeigneter Dokumentenquellen und Pilotbereiche.
  • Workshops und Mitarbeitertraining für den praktischen Umgang mit RAG-Systemen im Arbeitsalltag.
  • Unterstützung beim Fördermittelscouting für KMU, die ein Pilotprojekt finanzieren möchten.

Unsere Beratung legt Wert auf Datenschutzkonformität sowie auf eine auf Ihre Branche zugeschnittene Umsetzung. Den nächsten Schritt können Sie direkt gehen: Kontaktieren Sie uns für ein Erstgespräch zu Ihrem RAG-Vorhaben.

FAQ

Ist ChatGPT ein RAG?

Nicht grundsätzlich. ChatGPT ist in seiner Standardform ein Sprachmodell, das auf trainierten Parametern antwortet, kann aber durch Zusatzfunktionen wie Websuche oder angehängte Dokumente in einem RAG-ähnlichen Modus arbeiten.

Für was steht die Abkürzung RAG?

RAG steht für Retrieval-Augmented Generation, zu Deutsch etwa „abrufgestützte Generierung“. Der Begriff beschreibt eine Architektur, die ein Sprachmodell mit externem Datenabruf kombiniert.

Was ist der Unterschied zwischen LLM und RAG?

Ein LLM ist das Sprachmodell selbst, das Text generiert, während RAG eine Architektur rund um das LLM ist, die vor der Generierung relevante Dokumente abruft. Ein LLM kann ohne RAG arbeiten, ein RAG-System braucht dagegen immer ein LLM als Generierungskomponente.

Was macht die RAG?

Falls damit die Technik RAG gemeint ist: Sie ruft bei jeder Anfrage passende Textauszüge aus einer externen Wissensquelle ab und reicht sie dem Sprachmodell als zusätzlichen Kontext, bevor dieses die endgültige Antwort formuliert. So stützt sich die Antwort auf nachprüfbare Quellen statt allein auf trainiertes Wissen.

Quellen