Retrieval-Augmented Generation
Retrieval-Augmented Generation (RAG, abrufgestützte Generierung) ist ein Muster, bei dem ein System zuerst eine Dokumentensammlung nach Passagen durchsucht, die für eine Frage relevant sind, und diese Passagen dann einem Sprachmodell gibt, damit seine Antwort darauf aufbaut.
Auch: RAG
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Sprachmodell weiß nur, was in seinen Trainingsdaten stand, bis zu seinem Wissensstichtag. Es sieht weder dein Firmenwiki noch die Tickets der letzten Woche oder einen gestern unterschriebenen Vertrag. RAG schließt diese Lücke ohne neues Training: Du holst zum Zeitpunkt der Frage den richtigen Text und setzt ihn in den Prompt.
So funktioniert es
Vorab werden Dokumente per Chunking aufgeteilt, von einem Embedding-Modell in Vektoren verwandelt und in einer Vektordatenbank gespeichert. Kommt eine Frage, bettet das System sie ein, ruft die nächstgelegenen Chunks ab, ordnet sie oft mit einem Reranker neu und übergibt die besten paar an das Modell, mit der Anweisung, auf ihrer Grundlage zu antworten.
Das Paper von 2020, das der Idee ihren Namen gab, verband einen trainierten Textgenerator mit einem durchsuchbaren Index von Wikipedia. Die meisten RAG-Systeme verzichten heute auf dieses gemeinsame Training und verbinden ein Standardmodell mit einem separaten Retriever.
Beispiel
Ein Support-Bot bekommt die Frage „Kann ich meinen Plan mitten im Monat wechseln?“ Er ruft den Absatz zur Abrechnungsrichtlinie und die FAQ zu den Plänen ab, und das Modell antwortet auf dieser Grundlage und zitiert beide.
Grenzen
RAG ist nur so gut wie sein Retrieval. Wird die richtige Passage nie gefunden, füllt das Modell die Lücke womöglich mit einer Halluzination. Es tut sich außerdem schwer mit Fragen über einen ganzen Korpus, etwa „Was sind die Hauptthemen?“, und genau darauf zielt GraphRAG. Die Tools für jeden Schritt vergleicht der Leitfaden zum KI-Stack.
Verwandte Begriffe
- Vektordatenbank
- Eine Vektordatenbank speichert Embeddings zusammen mit ihren Quelldatensätzen und findet die gespeicherten Vektoren, die einem Abfragevektor am nächsten liegen, meist mit einem approximativen Index, damit die Suche über Millionen von Einträgen schnell bleibt.
- Halluzination (KI)
- Eine Halluzination (Hallucination) ist eine Ausgabe eines KI-Modells, die flüssig und selbstsicher klingt, aber falsch, nicht durch die Quellen gedeckt oder erfunden ist, etwa eine erfundene Quellenangabe, ein Zitat, eine Statistik oder eine API-Funktion.
- Embedding
- Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
- Chunking
- Chunking (Aufteilung in Abschnitte) ist der Schritt, der lange Dokumente in kleinere Passagen zerlegt, bevor sie eingebettet und indexiert werden, damit ein Retrieval-System nur die Teile eines Dokuments finden und zurückgeben kann, die eine Anfrage beantworten.
- Reranking
- Reranking (Neusortierung) ist ein zweiter Suchschritt, der eine kurze Liste von Kandidatendokumenten nimmt und sie nach Relevanz für die Abfrage neu ordnet, mit einem genaueren, aber langsameren Modell als bei der ersten Suche.
- Agentic RAG
- Agentic RAG (agentisches RAG) ist Retrieval-Augmented Generation, gesteuert von einem KI-Agenten, der entscheidet, wann gesucht wird, wonach und in welcher Quelle, und erneut suchen kann, wenn die ersten Ergebnisse nicht reichen.