Late Interaction (ColBERT)
Late Interaction (späte Interaktion) ist eine Retrieval-Methode, eingeführt mit ColBERT, die Anfrage und jedes Dokument getrennt in einen Vektor pro Token kodiert und einen Treffer dann bewertet, indem sie diese Token-Vektoren in einem günstigen letzten Schritt vergleicht.
Auch: ColBERT, multi-vector retrieval, late interaction
Von Divya Sharma · Geprüft am 15. Nov. 2026 · So testen wir
Es gibt zwei gängige Wege, Relevanz mit einem Transformer zu bewerten. Ein Bi-Encoder presst jeden Text in einen Vektor, was schnell ist, aber Details verliert. Ein Cross-Encoder liest Anfrage und Dokument gemeinsam, was genau ist, aber für große Sammlungen zu langsam. Late Interaction liegt dazwischen.
So funktioniert es
ColBERT kodiert das Dokument einmal offline und behält einen Vektor für jedes Token. Zur Anfragezeit kodiert es die Anfrage auf dieselbe Weise. Für jedes Token der Anfrage findet es das ähnlichste Dokument-Token und addiert dann diese besten Treffer zu einem Wert. Da die Dokumentvektoren vorab berechnet sind, fällt die teure Modellarbeit zur Anfragezeit nur für die kurze Anfrage an. Die Interaktion zwischen den beiden Texten passiert spät, in diesem letzten Vergleich.
Das ColBERT-Paper berichtet eine Genauigkeit, die mit BERT-basierten Rerankern mithalten kann, bei etwa zwei Größenordnungen höherem Tempo.
Multi-Vector Retrieval
Multi-Vector Retrieval ist der breitere Name dafür, mehrere Vektoren pro Element zu speichern. Dieselbe Idee wird inzwischen für Bilder von Seiten genutzt, bei denen jeder Bildausschnitt einen Vektor bekommt, etwa bei visuellen Dokument-Retrievern wie Nemotron ColEmbed V2.
Grenzen
Einen Vektor pro Token zu speichern, braucht viel mehr Platz als einen Vektor pro Chunk, auch wenn Kompression hilft. Weniger Vektordatenbanken unterstützen Multi-Vector-Suche direkt. Viele Teams nutzen Late Interaction als Reranking-Stufe nach einer günstigeren ersten Suche.
Verwandte Begriffe
- Cross-Encoder
- Ein Cross-Encoder ist ein Modell, das eine Anfrage und ein Dokument gemeinsam in einem Durchgang liest und einen Relevanzwert ausgibt. Er ist genauer als der Vergleich getrennter Embeddings, aber zu langsam, um ihn über eine ganze Sammlung laufen zu lassen.
- Reranking
- Reranking (Neusortierung) ist ein zweiter Suchschritt, der eine kurze Liste von Kandidatendokumenten nimmt und sie nach Relevanz für die Abfrage neu ordnet, mit einem genaueren, aber langsameren Modell als bei der ersten Suche.
- Vektorsuche
- Vektorsuche (Vector Search) findet Einträge, indem sie ihre Embeddings mit dem Embedding einer Abfrage vergleicht und die nächstgelegenen zurückgibt. Ergebnisse passen so nach Bedeutung statt nach gemeinsamen Stichwörtern.
- Embedding
- Ein Embedding (Einbettung) ist eine Liste von Zahlen (ein Vektor), die ein Stück Text, ein Bild oder andere Daten repräsentiert und so erzeugt wird, dass Elemente mit ähnlicher Bedeutung nahe beieinanderliegende Vektoren erhalten.
- Vektordatenbank
- Eine Vektordatenbank speichert Embeddings zusammen mit ihren Quelldatensätzen und findet die gespeicherten Vektoren, die einem Abfragevektor am nächsten liegen, meist mit einem approximativen Index, damit die Suche über Millionen von Einträgen schnell bleibt.
Quellen
- ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (Khattab and Zaharia, 2020)
- ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (Khattab and Zaharia, 2020)
- ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT (Khattab and Zaharia, 2020)