Was ist LateOn and mLateOn?
LateOn ist ein Late-Interaction-Modell im ColBERT-Stil von LightOn, dem KI-Unternehmen aus Paris, veröffentlicht am 21. April 2026 unter Apache 2.0. Statt ein Dokument in einen einzigen Vektor zu pressen, behält es für jedes Token einen Vektor aus 128 Zahlen und bewertet eine Anfrage, indem es jedes Anfrage-Token mit dem ähnlichsten Dokument-Token abgleicht (MaxSim). Das braucht mehr Speicher als ein dichtes Embedding, sortiert aber meist genauer, und dasselbe Modell kann entweder einen vorab gebauten Index durchsuchen oder die Kandidatenliste eines anderen Systems neu ordnen.
LateOn hat 149 Millionen Parameter auf ModernBERT und kann nur Englisch. mLateOn, veröffentlicht am 30. Juli 2026, ist der mehrsprachige Nachfolger: 307 Millionen Parameter auf mmBERT, trainiert auf neun Sprachen (Englisch, Französisch, Deutsch, Italienisch, Spanisch, Portugiesisch, Schwedisch, Norwegisch und Arabisch) und für Dokumente bis 8.192 Tokens.
LightOn hat die Trainingsdaten für beide veröffentlicht: 1,4 Milliarden gesammelte Paare aus Anfrage und Dokument, die kuratierte Pretraining-Mischung und die Fine-Tuning-Sätze mit geminten Negativbeispielen. Beide laufen mit LightOns Bibliothek PyLate und deren Index FastPLAID.
Lohnt sich LateOn and mLateOn?
LateOn hat die Messlatte für kleine Retriever verschoben. Es erreicht im Schnitt 57.22 NDCG@10 auf den 15 BEIR-Datensätzen, vor LightOns eigenem ColBERT-Zero mit 55.39 und GTE-ModernColBERT mit 54.75 und deutlich vor Jina-ColBERT-v2 mit 51.85, das etwa viermal so groß ist. Auf einer BEIR-Version mit 12 Datensätzen, aus der alle Passagen mit Überschneidungen zu den Trainingsdaten entfernt wurden, steigt es auf 60.36, was den üblichen Verdacht entkräftet, Ranglistenvorsprünge kämen von Datenlecks.
Für die meisten produktiven Korpora zählt mLateOn mehr. Es erreicht 57.56 auf BEIR, leicht über dem englischen Modell, 65.61 in den Zielsprachen von MIRACL und 87.69 auf MLDR, einem Benchmark für lange Dokumente, nach LightOns Zahlen mehr als neun Punkte vor Liquid AIs LFM2.5-ColBERT-350M. LateOn selbst ist außerhalb des Englischen schwach: Liquids mehrsprachige Tests sehen es auf NanoBEIR bei 0.484 gegenüber 0.605 für Liquids Modell, während LateOn in derselben Tabelle mit 0.690 den besten englischen Wert hat.
Der Preis der Late Interaction ist Speicher. Ein Vektor aus 128 Zahlen pro Token bedeutet, dass eine Passage mit 300 Tokens etwa 300 Vektoren speichert, wo ein dichtes Modell einen speichert; Indizes werden also viel größer und brauchen eine ColBERT-fähige Engine wie FastPLAID. Als Reranker über den ersten 100 Treffern eines anderen Systems wird nichts gespeichert, die Kosten sind dann nur das Kodieren dieser Dokumente pro Anfrage.
Bei Anfragen mit viel Schlussfolgern ist es eine Unbekannte: LightOn veröffentlicht keine BRIGHT-Ergebnisse, die hier besprochenen gehosteten Cross-Encoder schon. LateOns Standardkonfiguration begrenzt Dokumente außerdem auf 300 Tokens, lange Passagen brauchen also mLateOn oder Chunking. Für Teams, die offene Daten, offene Gewichte und eine freizügige Lizenz in einem Paket wollen, ist dieses Paar der Einstieg in Late Interaction.
Wo es sich lohnt
Ein ML-Engineer bei einem Legal-Tech-Start-up mit langen französischen und deutschen Verträgen
Die richtige Klausel sprachübergreifend finden, ohne bezahlte API
Indexiere die Verträge mit mLateOn in PyLates FastPLAID-Index und nutze das Fenster von 8.192 Tokens, um Abschnitte am Stück zu halten. Apache 2.0 heißt keine Lizenzgebühr; der Preis ist ein größerer Index, als ein dichtes Modell bräuchte.
Ein Search Engineer, der BM25 bereits in Elasticsearch betreibt
Die ersten 100 Keyword-Treffer neu sortieren, ohne einen Vektorindex zu bauen
Kodiere Anfrage und die 100 Kandidaten mit LateOn und bewerte sie mit PyLates rank.rerank, das keinen Index braucht. Die Kosten sind GPU- oder CPU-Zeit für 149M Parameter pro Anfrage.
Ein Forschungsteam, das Retrieval-Modelle auf Datenlecks prüft
Das Training eines Retrievers auf bekannten Daten nachvollziehen oder erweitern
Starte mit LightOns veröffentlichten Pretraining- und Fine-Tuning-Sätzen und dem bereinigten BEIR-Split mit 12 Datensätzen und trainiere mit PyLate. LightOn gibt LateOns Wert auf dem bereinigten Split mit 60.36 an.
Bevor du dich festlegst
- Einrichtung
- pip install pylate, models.ColBERT mit lightonai/LateOn oder lightonai/mLateOn laden, Dokumente in einen PLAID-Index kodieren und abfragen; zum Neusortieren einer Kandidatenliste genügt rank.rerank ohne Index.
- Integrationen
- PyLate und FastPLAID von LightOn, aufgebaut auf Sentence Transformers; Gewichte auf Hugging Face. Wer die Token-Vektoren anderswo speichern will, braucht eine Vektordatenbank mit Multi-Vektor-MaxSim.
- Daten und Datenschutz
- Nur selbst gehostet, Dokumente bleiben also auf deiner eigenen Hardware. Die Trainingsdaten der Experimente sind auf Hugging Face öffentlich; die finalen Modelle nutzten einen proprietären, Apache-kompatiblen Datensatz.
- Kosten im großen Maßstab
- Keine Lizenz- oder API-Gebühr. Laufende Kosten sind GPU-Zeit fürs Kodieren und Speicher für einen 128-dimensionalen Vektor pro Token, der mit dem Korpus viel schneller wächst als ein dichter Index.
- Grenzen
- LateOn: Englisch, standardmäßig Anfragen mit 32 und Dokumente mit 300 Tokens. mLateOn: bis 8.192 Tokens, neun Trainingssprachen. Weder Distillation noch Prompts wurden genutzt, was laut LightOn Raum für stärkere Versionen lässt.
Was gut ist
- 57.22 auf BEIR mit 149M Parametern; 60.36 auf bereinigtem BEIR
- Gewichte unter Apache 2.0 und veröffentlichte Trainingsdaten
- mLateOn liest 8.192 Tokens in neun Sprachen
- Funktioniert in PyLate als Retriever der ersten Stufe oder als Reranker
Was nicht
- Multi-Vektor-Indizes sind weit größer als dichte
- LateOn kann nur Englisch und nutzt standardmäßig 300-Token-Dokumente
- Keine gehostete API für diese Modelle aufgeführt
- Benchmarks stammen von LightOn; keine BRIGHT- oder Reasoning-Ergebnisse
Am besten für
Engineers, die ihr Retrieval selbst hosten und ein freizügig lizenziertes ColBERT-Modell für die Suche in der ersten Stufe oder als leichten Reranker wollen.
Alternativen zu LateOn and mLateOn
LateOn and mLateOn: häufige Fragen
- Lohnt sich LateOn and mLateOn?
- Die stärksten offenen ColBERT-Modelle, die du kommerziell nutzen kannst, ohne jemanden zu fragen, sofern du einen größeren Index für schärferes Ranking in Kauf nimmst. Wir bewerten es mit 4.2 von 5.
- Was kostet LateOn and mLateOn?
- Kostenlose Gewichte unter Apache 2.0, auch für kommerzielle Nutzung; Hosting und Indexspeicher trägst du selbst.
- Welche Nachteile hat LateOn and mLateOn?
- Multi-Vektor-Indizes sind weit größer als dichte; LateOn kann nur Englisch und nutzt standardmäßig 300-Token-Dokumente; Keine gehostete API für diese Modelle aufgeführt; Benchmarks stammen von LightOn; keine BRIGHT- oder Reasoning-Ergebnisse.
- Für wen eignet sich LateOn and mLateOn?
- Engineers, die ihr Retrieval selbst hosten und ein freizügig lizenziertes ColBERT-Modell für die Suche in der ersten Stufe oder als leichten Reranker wollen.
- Was kostet LateOn and mLateOn für ein Team oder im Produktivbetrieb?
- Keine Lizenz- oder API-Gebühr. Laufende Kosten sind GPU-Zeit fürs Kodieren und Speicher für einen 128-dimensionalen Vektor pro Token, der mit dem Korpus viel schneller wächst als ein dichter Index.
- Ist LateOn and mLateOn sicher für Firmendaten?
- Nur selbst gehostet, Dokumente bleiben also auf deiner eigenen Hardware. Die Trainingsdaten der Experimente sind auf Hugging Face öffentlich; die finalen Modelle nutzten einen proprietären, Apache-kompatiblen Datensatz.
- Was sind die besten Alternativen zu LateOn and mLateOn?
- Die nächsten Alternativen, die wir getestet haben, sind LFM2.5-ColBERT-350M, Nemotron ColEmbed V2, Jina Embeddings v5 und Qwen3-Embedding and Qwen3-Reranker.
Antworten geprüft am 20. Nov. 2026.