Chunking
Chunking (Aufteilung in Abschnitte) ist der Schritt, der lange Dokumente in kleinere Passagen zerlegt, bevor sie eingebettet und indexiert werden, damit ein Retrieval-System nur die Teile eines Dokuments finden und zurückgeben kann, die eine Anfrage beantworten.
Auch: document chunking, chunk size, chunk overlap, semantic chunking
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Ein Sprachmodell kann nicht eine ganze Dokumentenbibliothek auf einmal lesen, und ein Embedding eines 200-seitigen PDFs sagt wenig über eine einzelne Seite. Chunking schneidet die Quelle in Passagen, die klein genug sind, um sie einzubetten, zu durchsuchen und in einen Prompt einzufügen. Es ist die erste Designentscheidung in einer Pipeline für Retrieval-Augmented Generation, und eine schlechte Wahl an dieser Stelle begrenzt alles, was danach kommt.
So funktioniert es
Die einfachste Methode nutzt eine feste Größe: alle N Wörter, Zeichen oder Tokens. Das ursprüngliche RAG-Paper teilte jeden Wikipedia-Artikel in Chunks von 100 Wörtern. Die meisten Splitter fügen eine Überlappung hinzu und wiederholen an jeder Grenze ein paar Sätze, damit ein Gedanke, der sich über zwei Chunks erstreckt, nicht verloren geht. Rekursive Splitter versuchen zuerst natürliche Brüche (Abschnitte, dann Absätze, dann Sätze) und greifen erst auf kleinere Einheiten zurück, wenn ein Stück noch zu lang ist. Strukturbewusstes Chunking nutzt die Überschriften und Tabellen, die beim Document Parsing gefunden wurden.
Semantisches Chunking
Semantisches Chunking setzt Brüche nach Bedeutung statt nach Länge. Es bettet jeden Satz ein und beginnt einen neuen Chunk dort, wo die Ähnlichkeit zwischen benachbarten Sätzen abfällt, sodass jeder Chunk Sätze zu einem Thema enthält. Es kostet einen Embedding-Aufruf pro Satz, und der Schwellenwert für Brüche muss pro Korpus abgestimmt werden.
Abwägungen
Kleine Chunks passen präzise zu Anfragen, verlieren aber Kontext; große Chunks behalten Kontext, verwässern aber das Embedding und belegen mehr vom Kontextfenster. Es gibt keine allgemein beste Größe, teste also ein paar Einstellungen mit echten Fragen. Der Leitfaden zur Chunking-Stufe vergleicht die Tools.
Verwandte Begriffe
- Retrieval-Augmented Generation
- Retrieval-Augmented Generation (RAG, abrufgestützte Generierung) ist ein Muster, bei dem ein System zuerst eine Dokumentensammlung nach Passagen durchsucht, die für eine Frage relevant sind, und diese Passagen dann einem Sprachmodell gibt, damit seine Antwort darauf aufbaut.
- Document Parsing
- Document Parsing (Dokumentenanalyse) wandelt Dateien wie PDFs, Scans, Folien und Tabellen in strukturierten Text um, den Software nutzen kann, und erhält dabei Überschriften, Lesereihenfolge, Tabellen und Bilder statt eines flachen Zeichenstroms.
- Embedding
- Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
- Vektordatenbank
- Eine Vektordatenbank speichert Embeddings zusammen mit ihren Quelldatensätzen und findet die gespeicherten Vektoren, die einem Abfragevektor am nächsten liegen, meist mit einem approximativen Index, damit die Suche über Millionen von Einträgen schnell bleibt.
- Kontextfenster
- Ein Kontextfenster (Context Window) ist die maximale Textmenge, gezählt in Tokens, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich System-Prompt, Unterhaltung, Dokumenten, Tool-Ergebnissen und der Antwort, die es schreibt.
- Reranking
- Reranking (Neusortierung) ist ein zweiter Suchschritt, der eine kurze Liste von Kandidatendokumenten nimmt und sie nach Relevanz für die Abfrage neu ordnet, mit einem genaueren, aber langsameren Modell als bei der ersten Suche.