Was ist LFM2.5-ColBERT-350M?
LFM2.5-ColBERT-350M ist ein Late-Interaction-Retrieval-Modell von Liquid AI, veröffentlicht am 18. Juni 2026 zusammen mit einem dichten Geschwister, LFM2.5-Embedding-350M. Es speichert für jedes Token eines Dokuments einen Vektor aus 128 Zahlen und bewertet Anfragen per Token-Abgleich (MaxSim); so kann es einen Index durchsuchen oder die Kandidatenliste eines anderen Systems ohne Index neu sortieren. Es ersetzt das eingestellte LFM2-ColBERT-350M.
Es hat rund 353 Millionen Parameter und basiert auf LFM2.5-350M-Base, wobei Liquids kausales Modell bidirektional gemacht wurde: Die Attention sieht die ganze Eingabe, und die kurzen Faltungen schauen in beide Richtungen. Es deckt 11 Sprachen ab, Englisch, Spanisch, Deutsch, Französisch, Italienisch, Portugiesisch, Arabisch, Schwedisch, Norwegisch, Japanisch und Koreanisch, und ist für kurze Texte gebaut: Dokumente bis 512 Tokens und Anfragen bis 32.
Die Gewichte liegen auf Hugging Face, mit GGUF-Builds für llama.cpp, unter der LFM Open License v1.0, die Organisationen mit weniger als $10 Millionen Jahresumsatz die kostenlose kommerzielle Nutzung erlaubt. Es läuft mit PyLate und Sentence Transformers.
Lohnt sich LFM2.5-ColBERT-350M?
Sprachübergreifende Suche in kurzen Texten ist die Stärke dieses Modells. Auf Liquids mehrsprachigem NanoBEIR-Satz erreicht es im Schnitt 0.605 NDCG@10 über 11 Sprachen, gegenüber 0.556 für Qwen3-Embedding-0.6B, 0.540 für das ältere LFM2-ColBERT und 0.484 für LightOns rein englisches LateOn. Auf MKQA, wo Anfrage und Antwort in unterschiedlichen Sprachen stehen können, kommt es auf 0.694 Recall bei 20. Englisch ist die Ausnahme: LateOn erreicht dort 0.690, dieses Modell 0.687.
Liquid weist darauf hin, dass NanoBEIR-Werte etwa 15% über denen des vollen BEIR liegen, diese Zahlen sind also nicht mit BEIR-Werten anderswo vergleichbar, und alle stammen aus Liquids eigenen Läufen. LightOns später erschienenes mLateOn meldet 87.69 auf dem Langdokument-Benchmark MLDR gegenüber 78.39 für dieses Modell, was zu seinem Design passt: Mit 512 Tokens pro Dokument ist es für Produkteinträge, FAQ-Antworten und Support-Schnipsel gebaut, nicht für Berichte.
Geschwindigkeit ist der Sinn der LFM-Architektur. Auf einem MacBook Pro mit M4 Max unter llama.cpp dauert es im Median 8.2 ms, eine Anfrage zu kodieren und gegen zwischengespeicherte Dokumente zu bewerten; wird auch das Dokument kodiert, wie bei einem Reranker, sind es 34.3 ms. Liquids eigener GPU-Stack drückt das auf 22.8 ms mit frisch kodierten und 2.5 ms mit zwischengespeicherten Dokumenten. Mit solchen Latenzen wird Suche über Dateien und Notizen direkt auf dem Gerät ohne Server praktikabel.
Die Lizenz solltest du vor dem Ausliefern lesen. Die LFM Open License ist für kommerzielle Nutzung nur unter $10 Millionen Jahresumsatz kostenlos; größere Unternehmen brauchen eine eigene Vereinbarung, was sie für viele Enterprise-Teams ausschließt, die stattdessen das Apache-lizenzierte LateOn oder mLateOn nehmen können.
Wo es sich lohnt
Ein Entwickler bei einem E-Commerce-Unternehmen mit 30 Leuten, das in Europa und Japan verkauft
Produkte finden, wenn Kunden in einer anderen Sprache suchen als der des Eintrags
Indexiere kurze Produkttitel und -beschreibungen mit LFM2.5-ColBERT-350M in PyLate, das sprachübergreifende Anfragen in Liquids MKQA-Test mit 0.694 Recall bei 20 bewältigt. Unter $10 Millionen Umsatz ist die Lizenz kostenlos.
Ein App-Entwickler, der einer Notiz-App lokale Suche hinzufügt
Notizen und E-Mails des Nutzers direkt auf dem Gerät durchsuchen, ohne Server
Führe den GGUF-Build unter llama.cpp aus und halte die Dokumentvektoren auf dem Gerät; Liquid misst auf einem Laptop mit M4 Max 8.2 ms pro Anfrage gegen zwischengespeicherte Dokumente.
Ein Engineer, dessen Agent aus Hunderten Tools wählt
Die passenden Tools für eine Anfrage vorauswählen, bevor das LLM sie sieht
Sortiere die Tool-Beschreibungen mit PyLates rank-Funktion gegen die Anfrage, wie es Liquids Demo zur Tool-Auswahl tut; die Beschreibungen passen gut in die Grenze von 512 Tokens pro Dokument.
Bevor du dich festlegst
- Einrichtung
- pip install pylate (oder sentence-transformers ab 6.0) und das Modell mit trust_remote_code=True laden, was die bidirektionalen Patches anwendet; GGUF-Dateien laufen in llama.cpp.
- Integrationen
- PyLate mit FastPLAID-Indizes, MultiVectorEncoder aus Sentence Transformers und llama.cpp; Liquid bietet Enterprise-Kunden auf Anfrage einen eigenen GPU-Serving-Stack an.
- Daten und Datenschutz
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware oder dem Gerät des Nutzers. Eine gehostete API für dieses Modell ist nicht aufgeführt.
- Kosten im großen Maßstab
- Keine API-Gebühr. Organisationen mit $10 Millionen oder mehr Jahresumsatz brauchen eine kommerzielle Lizenz von Liquid AI, Preis auf Anfrage; der Speicher wächst mit einem 128-dimensionalen Vektor pro Token.
- Grenzen
- Dokumente werden bei 512 Tokens abgeschnitten, Anfragen bei 32. Elf Sprachen; Liquid empfiehlt es für Retrieval mit kurzem Kontext, nicht für lange Dokumente.
Was gut ist
- 0.605 auf NanoBEIR über 11 Sprachen, vor Qwen3-Embedding-0.6B
- Starker sprachübergreifender Recall: 0.694 bei 20 auf MKQA
- GGUF-Builds; 8.2 ms pro Anfrage auf einem Laptop
- Durchsucht einen Index oder sortiert eine Kandidatenliste mit einem Modell
Was nicht
- Dokumente mit 512 und Anfragen mit 32 Tokens
- Kommerzielle Nutzung nur unter $10 Millionen Umsatz kostenlos
- Hinter mLateOn bei langen Dokumenten und hinter LateOn auf Englisch
- Benchmarks stammen von Liquid
Am besten für
Entwickler, die mehrsprachige Suche über kurze Texte bauen, besonders auf Laptops, Smartphones oder anderen Geräten ohne GPU-Server.
Alternativen zu LFM2.5-ColBERT-350M
LFM2.5-ColBERT-350M: häufige Fragen
- Lohnt sich LFM2.5-ColBERT-350M?
- Das mehrsprachige ColBERT der Wahl, wenn Passagen kurz sind und die Suche auf Laptop oder Smartphone laufen muss, auch wenn Lizenz und 512-Token-Grenze ihm Schranken setzen. Wir bewerten es mit 3.9 von 5.
- Was kostet LFM2.5-ColBERT-350M?
- Kostenlose Gewichte unter der LFM Open License v1.0; kommerzielle Nutzung ist unter $10 Millionen Jahresumsatz frei, darüber braucht es eine Lizenz von Liquid AI.
- Welche Nachteile hat LFM2.5-ColBERT-350M?
- Dokumente mit 512 und Anfragen mit 32 Tokens; Kommerzielle Nutzung nur unter $10 Millionen Umsatz kostenlos; Hinter mLateOn bei langen Dokumenten und hinter LateOn auf Englisch; Benchmarks stammen von Liquid.
- Für wen eignet sich LFM2.5-ColBERT-350M?
- Entwickler, die mehrsprachige Suche über kurze Texte bauen, besonders auf Laptops, Smartphones oder anderen Geräten ohne GPU-Server.
- Was kostet LFM2.5-ColBERT-350M für ein Team oder im Produktivbetrieb?
- Keine API-Gebühr. Organisationen mit $10 Millionen oder mehr Jahresumsatz brauchen eine kommerzielle Lizenz von Liquid AI, Preis auf Anfrage; der Speicher wächst mit einem 128-dimensionalen Vektor pro Token.
- Ist LFM2.5-ColBERT-350M sicher für Firmendaten?
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware oder dem Gerät des Nutzers. Eine gehostete API für dieses Modell ist nicht aufgeführt.
- Was sind die besten Alternativen zu LFM2.5-ColBERT-350M?
- Die nächsten Alternativen, die wir getestet haben, sind LateOn and mLateOn, Qwen3-Embedding and Qwen3-Reranker, Jina Embeddings v5 und EmbeddingGemma 2.
Antworten geprüft am 20. Nov. 2026.