Was ist Nemotron ColEmbed V2?
Nemotron ColEmbed V2 ist eine Familie von Modellen für das visuelle Retrieval von Dokumenten von NVIDIA, erschienen im Januar 2026 in den Größen 3B, 4B und 8B. Du indexierst jede Dokumentseite als Bild, ohne OCR oder Layout-Analyse, und durchsuchst sie mit einer Frage in Textform. Das 8B-Modell basiert auf Qwen3-VL-8B-Instruct und hat etwa 8,8 Milliarden Parameter; das 3B basiert auf Llama 3.2.
Es ist ein Late-Interaction-Modell im Stil von ColBERT und ColPali: Statt eines Vektors pro Seite gibt es für jedes Token einen Vektor mit 4.096 Dimensionen aus und bewertet einen Treffer, indem es jedes Token der Anfrage mit dem am besten passenden Token der Seite vergleicht. Bilder werden in bis zu acht Kacheln von 512 mal 512 Pixeln plus ein Vorschaubild zerlegt, mit 256 Tokens pro Kachel.
Keine der Größen darf kommerziell genutzt werden. 4B und 8B stehen unter CC BY-NC 4.0; das 3B nutzt NVIDIAs eigene nicht kommerzielle Lizenz, die die Nutzung auf Forschung und Lehre beschränkt.
Lohnt sich Nemotron ColEmbed V2?
Nemotron ColEmbed V2 ist ein Forschungsmodell mit der Genauigkeit eines Produktivsystems und einer Lizenz, die es aus dem Produktivbetrieb heraushält. NVIDIAs Karte meldet für das 8B einen durchschnittlichen NDCG@10 von 63,54 auf ViDoRe v3, bei der Veröffentlichung am 26. Januar 2026 Platz eins auf diesem Benchmark, dazu 92,65 auf ViDoRe v1 und 65,16 auf v2, wo es hinter Tomoros ColQwen3 8B auf Platz drei lag. Das 4B kommt auf v3 auf 61,42, das 3B auf 59,70. Das sind NVIDIAs Zahlen, erzeugt mit dem öffentlichen MTEB-Harness und daher reproduzierbar, aber die Rangliste hat sich seit Januar verschoben.
Der Speicher ist die Rechnung, die später kommt. Das 8B gibt für jedes Token einen Vektor mit 4.096 Dimensionen aus, und eine Seite kann neun Kacheln zu je 256 Tokens belegen. Nach unserer Rechnung auf Basis der Kartenangaben sind das in BF16 bis zu etwa 19 MB pro Seite, oder rund 19 TB für eine Million Seiten vor jedem Pooling oder jeder Quantisierung. Tomoros ColQwen3 8B unter Apache-Lizenz nutzt 320 Dimensionen und höchstens 1.280 Tokens pro Seite, was seine Karte mit etwa 0,82 TB pro Million Bilder beziffert. Der Bewertungsschritt braucht außerdem einen Vektorspeicher mit Multi-Vektor-Unterstützung (MaxSim), was viele Setups mit nur einem Vektor ausschließt.
Die Lizenz schließt die kommerzielle Tür in jeder Größe. 4B und 8B stehen unter CC BY-NC 4.0, und das auf Llama 3.2 aufbauende 3B unter NVIDIAs eigener nicht kommerzieller Lizenz, die die Nutzung auf 'non-commercial research and educational purposes' beschränkt und die kommerzielle Nutzung NVIDIA selbst vorbehält. Die Karte nennt weder einen NIM-Container noch einen gehosteten Endpunkt, und kein Inferenzanbieter auf Hugging Face bietet es an.
Auch der Betrieb ist ein schmaler Pfad: nur Linux, getestet auf A100- und H100-Karten, flash-attn fest auf Version 2.6.3 und Remote Code aktiviert. Die 8B-Gewichte sind etwa 17,5 GB groß. Für ein Team, das wissen will, ob OCR plus ein Text-Embedder für ein Archiv gescannter Dokumente genügt, ist es eine nützliche Obergrenze zum Vergleich. Die Streuung pro Aufgabe auf der Karte, von 79,30 bei Informatikseiten bis 50,84 bei Physik, zeigt, dass die Antwort stark von den Dokumenten abhängt.
Wo es sich lohnt
Ein Information-Retrieval-Forscher an einem Universitätslabor
Einen neuen visuellen Retriever gegen eine starke offene Baseline testen
Lade das 8B in Transformers und führe mteb 2.7 oder neuer auf ViDoRe v3 aus; NVIDIAs Werte pro Aufgabe geben ein reproduzierbares Ziel vor. Akademische Nutzung ist genau das, was die CC-BY-NC-Lizenz erlaubt.
Ein ML-Engineer bei einem Versicherer mit Millionen gescannter Schadensformulare
Entscheiden, ob sich die OCR-Pipeline noch lohnt
Indexiere einige tausend Beispielseiten mit dem 8B als Obergrenze für die Genauigkeit und vergleiche das Ergebnis mit OCR plus einem Text-Embedder. Die Lizenz schließt einen Einsatz aus, das Ergebnis dient also der Wahl zwischen OCR und einem ColQwen-Modell unter Apache-Lizenz.
Eine Leiterin einer Datenplattform, die einen Multi-Vektor-Index dimensioniert
Den Speicherbedarf abschätzen, bevor sie sich auf Late Interaction festlegt
Bei bis zu 2.304 Tokens mit je 4.096 BF16-Werten pro Seite braucht ein Archiv mit 100.000 Seiten bis zu etwa 1,9 TB an Vektoren, gegenüber etwa 82 GB für Tomoros ColQwen3 mit 320 Dimensionen nach derselben Rechnung. Dieser Abstand entscheidet über die Architektur meist früher als die Genauigkeit.
Bevor du dich festlegst
- Einrichtung
- Installiere transformers 4.57.2 oder neuer und flash-attn 2.6.3 und lade das Modell mit trust_remote_code in bfloat16. NVIDIA testet nur unter Linux mit A100 40GB oder 80GB und H100 80GB; Bilder werden als PIL-Objekte übergeben.
- Integrationen
- Transformers und der MTEB-Evaluierungs-Harness. Weder NIM noch eine gehostete API oder ein Inferenzanbieter auf Hugging Face sind gelistet, und das Retrieval braucht eine Vektordatenbank mit Multi-Vektor-Bewertung (MaxSim).
- Daten und Datenschutz
- Selbst gehostet, die Dokumente bleiben also auf deiner Hardware. 4B und 8B stehen unter CC BY-NC 4.0, das 3B unter NVIDIAs Non-Commercial License; beide verbieten kommerzielle Nutzung, und das 3B übernimmt zusätzlich die Lizenz von Llama 3.2.
- Kosten im großen Maßstab
- Es gibt keine bezahlte Stufe. Die Kosten sind GPU-Zeit für die Indexierung plus Speicher: nach unserer Rechnung unkomprimiert bis zu etwa 19 MB pro Seite, rund 19 TB pro Million Seiten, gegenüber etwa 0,82 TB pro Million für Tomoros ColQwen3 8B laut dessen Karte.
- Grenzen
- Evaluiert bis 10.240 Tokens; bis zu acht Kacheln plus ein Vorschaubild pro Bild. Die Modell-Links auf der Karte sind uneinheitlich, und der 4B-Link in ihren Tabellen funktioniert nicht.
Was gut ist
- Laut NVIDIA im Schnitt 63,54 auf ViDoRe v3 für das 8B
- Indexiert Seitenbilder direkt, ohne OCR oder Layout-Analyse
- Größen 3B, 4B und 8B, um Genauigkeit gegen Kosten abzuwägen
Was nicht
- Nicht kommerzielle Lizenz für alle drei Größen
- 4.096 Dimensionen pro Token: unkomprimiert bis zu etwa 19 MB pro Seite
- Nur Linux, A100 oder H100 und fest auf flash-attn 2.6.3
- Kein gehosteter Endpunkt und kein NIM gelistet
Am besten für
Forschende und Evaluierungsteams, die eine starke offene Baseline für visuelles Dokument-Retrieval brauchen und nicht vorhaben, sie auszuliefern.
Alternativen zu Nemotron ColEmbed V2
Nemotron ColEmbed V2: häufige Fragen
- Lohnt sich Nemotron ColEmbed V2?
- Genau genug, um der Maßstab für die Suche in Seitenbildern zu sein, und so lizenziert, dass die meisten Unternehmen es nur als Maßstab nutzen dürfen. Wir bewerten es mit 3.8 von 5.
- Was kostet Nemotron ColEmbed V2?
- Kostenlose Gewichte für nicht kommerzielle Nutzung und Forschung (CC BY-NC 4.0).
- Welche Nachteile hat Nemotron ColEmbed V2?
- Nicht kommerzielle Lizenz für alle drei Größen; 4.096 Dimensionen pro Token: unkomprimiert bis zu etwa 19 MB pro Seite; Nur Linux, A100 oder H100 und fest auf flash-attn 2.6.3; Kein gehosteter Endpunkt und kein NIM gelistet.
- Für wen eignet sich Nemotron ColEmbed V2?
- Forschende und Evaluierungsteams, die eine starke offene Baseline für visuelles Dokument-Retrieval brauchen und nicht vorhaben, sie auszuliefern.
- Was kostet Nemotron ColEmbed V2 für ein Team oder im Produktivbetrieb?
- Es gibt keine bezahlte Stufe. Die Kosten sind GPU-Zeit für die Indexierung plus Speicher: nach unserer Rechnung unkomprimiert bis zu etwa 19 MB pro Seite, rund 19 TB pro Million Seiten, gegenüber etwa 0,82 TB pro Million für Tomoros ColQwen3 8B laut dessen Karte.
- Ist Nemotron ColEmbed V2 sicher für Firmendaten?
- Selbst gehostet, die Dokumente bleiben also auf deiner Hardware. 4B und 8B stehen unter CC BY-NC 4.0, das 3B unter NVIDIAs Non-Commercial License; beide verbieten kommerzielle Nutzung, und das 3B übernimmt zusätzlich die Lizenz von Llama 3.2.
- Was sind die besten Alternativen zu Nemotron ColEmbed V2?
- Die nächsten Alternativen, die wir getestet haben, sind Qwen3-VL-Embedding, Cohere Embed 5 und Jina Embeddings v5.
Antworten geprüft am 22. Okt. 2026.