Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

LFM2.5-ColBERT-350M

Liquid AIs mehrsprachiges Late-Interaction-Modell mit 350M für kurze Passagen, schnell genug, um auf einem Laptop zu suchen und neu zu sortieren.

Getestet von ReviewRamble editors · Aktualisiert

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

3.9/5

Das mehrsprachige ColBERT der Wahl, wenn Passagen kurz sind und die Suche auf Laptop oder Smartphone laufen muss, auch wenn Lizenz und 512-Token-Grenze ihm Schranken setzen.

Was ist LFM2.5-ColBERT-350M?

LFM2.5-ColBERT-350M ist ein Late-Interaction-Retrieval-Modell von Liquid AI, veröffentlicht am 18. Juni 2026 zusammen mit einem dichten Geschwister, LFM2.5-Embedding-350M. Es speichert für jedes Token eines Dokuments einen Vektor aus 128 Zahlen und bewertet Anfragen per Token-Abgleich (MaxSim); so kann es einen Index durchsuchen oder die Kandidatenliste eines anderen Systems ohne Index neu sortieren. Es ersetzt das eingestellte LFM2-ColBERT-350M.

Es hat rund 353 Millionen Parameter und basiert auf LFM2.5-350M-Base, wobei Liquids kausales Modell bidirektional gemacht wurde: Die Attention sieht die ganze Eingabe, und die kurzen Faltungen schauen in beide Richtungen. Es deckt 11 Sprachen ab, Englisch, Spanisch, Deutsch, Französisch, Italienisch, Portugiesisch, Arabisch, Schwedisch, Norwegisch, Japanisch und Koreanisch, und ist für kurze Texte gebaut: Dokumente bis 512 Tokens und Anfragen bis 32.

Die Gewichte liegen auf Hugging Face, mit GGUF-Builds für llama.cpp, unter der LFM Open License v1.0, die Organisationen mit weniger als $10 Millionen Jahresumsatz die kostenlose kommerzielle Nutzung erlaubt. Es läuft mit PyLate und Sentence Transformers.

Lohnt sich LFM2.5-ColBERT-350M?

Sprachübergreifende Suche in kurzen Texten ist die Stärke dieses Modells. Auf Liquids mehrsprachigem NanoBEIR-Satz erreicht es im Schnitt 0.605 NDCG@10 über 11 Sprachen, gegenüber 0.556 für Qwen3-Embedding-0.6B, 0.540 für das ältere LFM2-ColBERT und 0.484 für LightOns rein englisches LateOn. Auf MKQA, wo Anfrage und Antwort in unterschiedlichen Sprachen stehen können, kommt es auf 0.694 Recall bei 20. Englisch ist die Ausnahme: LateOn erreicht dort 0.690, dieses Modell 0.687.

Liquid weist darauf hin, dass NanoBEIR-Werte etwa 15% über denen des vollen BEIR liegen, diese Zahlen sind also nicht mit BEIR-Werten anderswo vergleichbar, und alle stammen aus Liquids eigenen Läufen. LightOns später erschienenes mLateOn meldet 87.69 auf dem Langdokument-Benchmark MLDR gegenüber 78.39 für dieses Modell, was zu seinem Design passt: Mit 512 Tokens pro Dokument ist es für Produkteinträge, FAQ-Antworten und Support-Schnipsel gebaut, nicht für Berichte.

Geschwindigkeit ist der Sinn der LFM-Architektur. Auf einem MacBook Pro mit M4 Max unter llama.cpp dauert es im Median 8.2 ms, eine Anfrage zu kodieren und gegen zwischengespeicherte Dokumente zu bewerten; wird auch das Dokument kodiert, wie bei einem Reranker, sind es 34.3 ms. Liquids eigener GPU-Stack drückt das auf 22.8 ms mit frisch kodierten und 2.5 ms mit zwischengespeicherten Dokumenten. Mit solchen Latenzen wird Suche über Dateien und Notizen direkt auf dem Gerät ohne Server praktikabel.

Die Lizenz solltest du vor dem Ausliefern lesen. Die LFM Open License ist für kommerzielle Nutzung nur unter $10 Millionen Jahresumsatz kostenlos; größere Unternehmen brauchen eine eigene Vereinbarung, was sie für viele Enterprise-Teams ausschließt, die stattdessen das Apache-lizenzierte LateOn oder mLateOn nehmen können.

Wo es sich lohnt

  • Ein Entwickler bei einem E-Commerce-Unternehmen mit 30 Leuten, das in Europa und Japan verkauft

    Produkte finden, wenn Kunden in einer anderen Sprache suchen als der des Eintrags

    Indexiere kurze Produkttitel und -beschreibungen mit LFM2.5-ColBERT-350M in PyLate, das sprachübergreifende Anfragen in Liquids MKQA-Test mit 0.694 Recall bei 20 bewältigt. Unter $10 Millionen Umsatz ist die Lizenz kostenlos.

  • Ein App-Entwickler, der einer Notiz-App lokale Suche hinzufügt

    Notizen und E-Mails des Nutzers direkt auf dem Gerät durchsuchen, ohne Server

    Führe den GGUF-Build unter llama.cpp aus und halte die Dokumentvektoren auf dem Gerät; Liquid misst auf einem Laptop mit M4 Max 8.2 ms pro Anfrage gegen zwischengespeicherte Dokumente.

  • Ein Engineer, dessen Agent aus Hunderten Tools wählt

    Die passenden Tools für eine Anfrage vorauswählen, bevor das LLM sie sieht

    Sortiere die Tool-Beschreibungen mit PyLates rank-Funktion gegen die Anfrage, wie es Liquids Demo zur Tool-Auswahl tut; die Beschreibungen passen gut in die Grenze von 512 Tokens pro Dokument.

Bevor du dich festlegst

Einrichtung
pip install pylate (oder sentence-transformers ab 6.0) und das Modell mit trust_remote_code=True laden, was die bidirektionalen Patches anwendet; GGUF-Dateien laufen in llama.cpp.
Integrationen
PyLate mit FastPLAID-Indizes, MultiVectorEncoder aus Sentence Transformers und llama.cpp; Liquid bietet Enterprise-Kunden auf Anfrage einen eigenen GPU-Serving-Stack an.
Daten und Datenschutz
Selbst gehostet, Dokumente bleiben also auf deiner Hardware oder dem Gerät des Nutzers. Eine gehostete API für dieses Modell ist nicht aufgeführt.
Kosten im großen Maßstab
Keine API-Gebühr. Organisationen mit $10 Millionen oder mehr Jahresumsatz brauchen eine kommerzielle Lizenz von Liquid AI, Preis auf Anfrage; der Speicher wächst mit einem 128-dimensionalen Vektor pro Token.
Grenzen
Dokumente werden bei 512 Tokens abgeschnitten, Anfragen bei 32. Elf Sprachen; Liquid empfiehlt es für Retrieval mit kurzem Kontext, nicht für lange Dokumente.

Was gut ist

  • 0.605 auf NanoBEIR über 11 Sprachen, vor Qwen3-Embedding-0.6B
  • Starker sprachübergreifender Recall: 0.694 bei 20 auf MKQA
  • GGUF-Builds; 8.2 ms pro Anfrage auf einem Laptop
  • Durchsucht einen Index oder sortiert eine Kandidatenliste mit einem Modell

Was nicht

  • Dokumente mit 512 und Anfragen mit 32 Tokens
  • Kommerzielle Nutzung nur unter $10 Millionen Umsatz kostenlos
  • Hinter mLateOn bei langen Dokumenten und hinter LateOn auf Englisch
  • Benchmarks stammen von Liquid

Am besten für

Entwickler, die mehrsprachige Suche über kurze Texte bauen, besonders auf Laptops, Smartphones oder anderen Geräten ohne GPU-Server.

Alternativen zu LFM2.5-ColBERT-350M

LFM2.5-ColBERT-350M: häufige Fragen

Lohnt sich LFM2.5-ColBERT-350M?
Das mehrsprachige ColBERT der Wahl, wenn Passagen kurz sind und die Suche auf Laptop oder Smartphone laufen muss, auch wenn Lizenz und 512-Token-Grenze ihm Schranken setzen. Wir bewerten es mit 3.9 von 5.
Was kostet LFM2.5-ColBERT-350M?
Kostenlose Gewichte unter der LFM Open License v1.0; kommerzielle Nutzung ist unter $10 Millionen Jahresumsatz frei, darüber braucht es eine Lizenz von Liquid AI.
Welche Nachteile hat LFM2.5-ColBERT-350M?
Dokumente mit 512 und Anfragen mit 32 Tokens; Kommerzielle Nutzung nur unter $10 Millionen Umsatz kostenlos; Hinter mLateOn bei langen Dokumenten und hinter LateOn auf Englisch; Benchmarks stammen von Liquid.
Für wen eignet sich LFM2.5-ColBERT-350M?
Entwickler, die mehrsprachige Suche über kurze Texte bauen, besonders auf Laptops, Smartphones oder anderen Geräten ohne GPU-Server.
Was kostet LFM2.5-ColBERT-350M für ein Team oder im Produktivbetrieb?
Keine API-Gebühr. Organisationen mit $10 Millionen oder mehr Jahresumsatz brauchen eine kommerzielle Lizenz von Liquid AI, Preis auf Anfrage; der Speicher wächst mit einem 128-dimensionalen Vektor pro Token.
Ist LFM2.5-ColBERT-350M sicher für Firmendaten?
Selbst gehostet, Dokumente bleiben also auf deiner Hardware oder dem Gerät des Nutzers. Eine gehostete API für dieses Modell ist nicht aufgeführt.
Was sind die besten Alternativen zu LFM2.5-ColBERT-350M?
Die nächsten Alternativen, die wir getestet haben, sind LateOn and mLateOn, Qwen3-Embedding and Qwen3-Reranker, Jina Embeddings v5 und EmbeddingGemma 2.

Antworten geprüft am 20. Nov. 2026.