Chunking-Strategien für RAG im Vergleich: warum dein Retriever nur die halbe Antwort findet

Wenn dein Retrieval-System meistens einen Teil der Antwort findet, scheitert es wahrscheinlich öfter, als dein Dashboard sagt. Eine Reihe von Papers zum Chunking aus dem Oktober und ein sorgfältiges Experiment, das fünf ihrer Ideen nebeneinander laufen ließ, führen zur selben Lehre: Wie du ein Dokument zerschneidest, entscheidet darüber, was gefunden werden kann, und der beste Schnitt hängt davon ab, wie viel Kontext du dir leisten kannst mitzuschicken.

Warum Chunking wieder auf der Tagesordnung steht

Retrieval-Augmented Generation (RAG) zerlegt deine Dokumente in Stücke, findet die Stücke, die zu einer Frage passen, und gibt sie einem Modell. Das Modell kann nur nutzen, was es bekommt. The Bottleneck Is Retrieval, Not Reading (arXiv, 18. Oktober) testete zehn Frontier-Modelle und drei Modelle mit offenen Gewichten und fand bei allen dasselbe Muster: Das Retrieval liefert zuverlässig einige der Chunks, die eine Frage mit mehreren Fakten braucht, aber nicht alle, und das Chunking entfernt den Kontext auf Dokumentebene, der eine Passage mit einer anderen verbindet.

Drei Papers aus dem Oktober gehen das von verschiedenen Seiten an.

QESChunker (27. Oktober) behandelt Chunking als Optimierung. Anhand von Beispielfragen und den Sätzen, die sie beantworten, wählt es die Schnittpunkte, die die meisten Belege auffindbar halten. Ohne Überlappung findet dynamische Programmierung die exakt beste Lösung; mit Überlappung ist das Problem NP-schwer, und ein Greedy-Durchlauf kommt bis auf eine bewiesene Schranke an das Optimum heran.

StrucChunk (19. Oktober) nutzt die Struktur, die der Autor bereits geschrieben hat. Es schneidet nie mitten durch eine Klausel, löst Querverweise wie "see Section 4.2" vor der Indexierung auf und kombiniert Stichwortsuche (BM25) mit dichten Embeddings. Bei 501 Fragen zur indischen Strafprozessordnung stieg Recall@5 von 0,557 auf 0,804, und die Autoren schreiben 88% dieses Zuwachses allein dem Chunking zu.

SpectRAG (27. Oktober) behandelt Chunks nicht mehr als unabhängig. Es baut über ihnen einen gewichteten Graphen aus Nachbarschaft, Abschnittshierarchie, gemeinsamen Entitäten und Zitaten auf, verteilt die Relevanz von den ersten Suchtreffern aus über diesen Graphen und stellt einen Kontext innerhalb eines festen Token-Budgets zusammen.

Ein Experiment, fünf Chunker

Vishal Mysore ließ diese Ideen gegeneinander antreten, in einem Browser-Labor, das jeder erneut ausführen kann. Das Dokument ist ein fiktives Handbuch einer Sternwarte, geschrieben wie ein Richtlinienwerk, mit nummerierten Abschnitten, Definitionen und Querverweisen. Das Retrieval nutzt nur BM25, also ist jede Zahl deterministisch. Jeder Chunker bekommt dieselben Grenzen: Chunks mit bis zu 450 Zeichen und ein Kontextbudget von 120 Wörtern.

Die fünf Chunker waren ein festes Fenster, das alle paar hundert Zeichen schneidet, ein Satzfenster, das ganze Sätze bündelt, ein strukturbewusster Chunker im Stil von StrucChunk (ein Chunk pro nummeriertem Abschnitt, mit angehängtem Überschriftenpfad und eingefügten querverwiesenen Definitionen) sowie QESChunker in seiner exakten und seiner überlappenden Form.

Jeder Chunker hielt jeden Belegsatz irgendwo intakt. Die Unterschiede liegen darin, ob sich die richtigen Stücke finden und ins Budget packen lassen.

Was die Ergebnisse sagen

Teilweiser Recall schmeichelt. Jede Strategie fand bei 69 bis 92% der Fragen mindestens einen Belegsatz. Die Standard-Chunker stellten die vollständige Antwort in weniger als einem Viertel der Fälle zusammen. Eine Pipeline, die nach Teiltreffern bewertet wird, sähe gesund aus, während drei von vier Antworten mit mehreren Fakten auf der Hälfte der Belege beruhten.

Kleine, strukturierte Chunks gewinnen bei knappem Kontext. Abschnittsgroße Chunks hatten im Schnitt 285 Zeichen gegenüber etwa 400 bei den Fenstern, sodass zwei oder drei in 120 Wörter passen, wo nur ein Fenster passt. Bei einem Budget von 40 Wörtern kam nur der strukturbewusste Chunker über 10%. Bei 300 Wörtern hatten die Fenster-Chunker aufgeholt, und bei 400 hatten sie ihn überholt, während der strukturbewusste bei 77% stagnierte. Bei großzügigem Budget zieht fast jeder Chunker die Belege mit herein, weil du einen großen Teil des Dokuments schickst.

Chunk-Größe und Budget müssen zusammen festgelegt werden. Bei Chunks mit 800 Zeichen erreichten das feste Fenster und das Satzfenster 0%: Ein Fenster mit 800 Zeichen hat etwa 130 Wörter, mehr als das Budget von 120 Wörtern, also passte kein einziger Chunk. Das ist der Fehler, den du bekommst, wenn eine Person den Chunker abstimmt und eine andere den Prompt.

Der beweisbar optimale Chunker wurde Letzter. Die exakte Version von QESChunker erreichte 15% bei zurückgehaltenen Fragen. Sie ist optimal für ihr Ziel, das belohnt, Belegsätze ganz zu lassen. Der billigste Weg, eine Regel ganz zu lassen, ist, direkt vor ihr zu schneiden, und in einem Handbuch ist die Zeile vor einer Regel ihre Überschrift. Die Überschrift landete am Ende eines Chunks und die Regel am Anfang des nächsten, sodass eine Stichwortsuche nach der Überschrift den falschen Chunk fand. Keiner ihrer Chunks begann mit einer Überschrift. Die Lehre gilt allgemein: Ein Chunker optimiert, was du aufschreibst, und intakte Belege sind nicht dasselbe wie auffindbare Belege. Die überlappende Version schnitt viel besser ab, mit 46% bei zurückgehaltenen Fragen und 83% bei den Fragen, auf die sie abgestimmt war. Diese Lücke ist die Warnung für jeden Chunker, der mit Beispielfragen trainiert wird: Der Index wird um die Fragen herum geformt, an die du gedacht hast.

Ein Chunk-Graph hilft, wo Definitionen Knotenpunkte sind. Der Wechsel des strukturbewussten Chunkings auf Graph-Retrieval hob es von 62% auf 69%. Bei "Is flash photography allowed on the dome floor?" setzte reines BM25 die Definition der Rotlichtzone auf Platz drei, und sie passte nicht mehr ins Budget. Im Graph-Modus verweisen zwei andere Abschnitte auf diese Definition, also floss Relevanz zu ihr und sie kam hinein. Ohne Auflösung der Querverweise verschwand der Gewinn. Bei den Fenster-Chunkern half der Graph nicht, und bei Satzfenstern senkte er den Wert von 23% auf 15%.

Manche Fehlschläge sind keine Chunking-Probleme. "My 8-year-old is coming. What rule applies on the terrace?" scheiterte überall, weil die Regel "children under 10" sagt und kein Wort mit der Frage teilt. Diese Lücke braucht dichtes oder hybrides Retrieval, Query Rewriting oder einen Reranker.

Was du an deiner Pipeline ändern solltest

Für Dokumente mit echter Struktur, etwa Verträge, Richtlinien, Handbücher und Spezifikationen, chunke nach Abschnitten, hänge den Überschriftenpfad an und löse Querverweise bei der Indexierung auf, damit eine Regel zusammen mit der Definition reist, von der sie abhängt. Tools wie Docling und Unstructured gewinnen diese Struktur aus PDFs zurück; Chonkie übernimmt das Chunking selbst.

Miss vollständige Antworten, nicht Teiltreffer. Eine Frage mit mehreren Fakten, die aus der Hälfte ihrer Belege beantwortet wird, ist eine falsche Antwort, die richtig aussieht. Ragas kann den Context Recall pro Frage bewerten.

Lege Chunk-Größe und Kontextbudget an derselben Stelle fest und teste mit dem Budget, das du tatsächlich schickst. Der beste Chunker bei 120 Wörtern war nicht der beste bei 400.

Wenn du eine überwachte oder graphbasierte Methode ausprobierst, prüfe, ob ihr Ziel zu dem Retriever passt, den du betreibst. Zwei Papers aus dem September stützen das aus anderen Blickwinkeln: Eine Studie mit 54 Konfigurationen fand, dass sich die Wahl von Parser und Chunker gegenseitig beeinflusst und kein einzelner Retriever überall am besten ist, und ein Vergleich von sechs Pipelines über etwa 464.000 Papers fand, dass Reranking und Late Interaction die Qualität stärker bewegen als Anpassungen in der ersten Stufe. Ein drittes, zu adaptiver Retrieval-Tiefe, meldet über 36% besseren F1-Wert und 14% weniger Tokens bei einfachen Anfragen, indem es je nach Fragetyp wählt, wie viele Chunks abgerufen werden.

Unser Fazit: Chunking entscheidet, was abgerufen werden kann; der Retriever entscheidet, was abgerufen wird. Behebe das Erste mit Struktur, das Zweite mit hybrider Suche und einem Reranker wie Cohere Rerank 5 oder Jina Reranker v3.5, und beurteile beides danach, ob die ganze Antwort ankommt.