Was ist dots.ocr?
dots.ocr ist ein offenes Modell zum Parsen von Dokumenten von rednote hi lab, der KI-Gruppe bei Xiaohongshu, veröffentlicht am 30. Juli 2025 unter der MIT-Lizenz. Ein einziges Vision-Language-Modell übernimmt Layouterkennung und Lesen: Es liefert für jeden Block Bounding Box, Kategorie und Text, Tabellen als HTML, Formeln als LaTeX und alles andere als Markdown, in Lesereihenfolge. Die Hugging-Face-API zählt 3,04 Milliarden Parameter, ein Sprachmodell mit 1,7 Milliarden Parametern plus einen Vision-Encoder mit 42 Schichten.
Die Gewichte liegen inzwischen unter der Organisation dots-studio auf Hugging Face und der Code unter studio-dots-ai auf GitHub, wo der letzte Commit am 24. März 2026 erfolgte. Ein Base-Checkpoint folgte am 31. Oktober 2025, und im März 2026 veröffentlichte das Team dots.mocr, einen gleich großen Nachfolger, der auch Diagramme und Abbildungen in SVG umwandelt.
Lohnt sich dots.ocr?
dots.ocr war zum Start ein starker Parser und ist heute ein mittelmäßiger. Seine Model Card meldet 79,1 auf olmOCR-bench und einen Tabellen-TEDS von 88,6 auf Englisch im ursprünglichen OmniDocBench, damals vor MinerU, Marker und Gemini 2.5 Pro. Das sind Zahlen der Entwickler, teils aus den Projekten MonkeyOCR und olmOCR übernommen, teils aus internen Läufen, wobei Kopf- und Fußzeilen vor der Bewertung entfernt wurden.
Neuere Konkurrenten haben es inzwischen erneut getestet und niedriger eingestuft. FireRedTeams Vergleich setzt es auf OmniDocBench v1.5 auf 88,41, hinter DeepSeek-OCR 2 mit 91,09 und PaddleOCR-VL mit 92,86, und bei Tabellen aus PubTabNet auf 71,0. Auf den unbequemen realen Seiten von FireRedBench erreicht es 72,93. Diese Werte stammen von Konkurrenten mit Interesse am Ergebnis, die Richtung stimmt aber überein.
Seine besondere Stärke ist die Sprachbreite. Der hauseigene dots.ocr-bench umfasst 1.493 PDF-Seiten in 100 Sprachen, und dort meldet das Team eine Gesamt-Edit-Distance von 0,177 gegenüber 0,251 für Gemini 2.5 Pro. Die Layouterkennung schlägt im selben Bericht DocLayout-YOLO, 0,831 gegenüber 0,733 F1. Einen unabhängigen mehrsprachigen Test gibt es nicht, die Angabe beruht also auf einem Benchmark der Entwickler.
Der Betrieb ist nicht gut gealtert. Für den Einsatz mit vLLM musst du den vllm-Launcher mit sed patchen, um das Modell zu registrieren, die Gewichte in einem Verzeichnis ohne Punkte im Namen speichern und trust_remote_code aktivieren; die Evaluierungen der Model Card liefen mit vLLM 0.9.1. Der Abschnitt zu den Einschränkungen warnt, dass Folgen von Auslassungspunkten oder Unterstrichen die Ausgabe endlos wiederholen lassen können, dass Bilder nicht geparst werden und dass das Modell nicht für die Verarbeitung großer PDF-Mengen optimiert ist. dots.mocr, das dasselbe Team im März 2026 in gleicher Größe veröffentlichte, schließt die Lücke bei Bildern und erreicht in TIIs Vergleich für Falcon OCR 84,0 auf olmOCR-bench.
Wo es sich lohnt
Ein Lokalisierungsdienstleister, der gescannte Handbücher in Dutzenden Sprachen verarbeitet
Text samt Layoutpositionen aus Dokumenten in ressourcenarmen Schriften extrahieren
Der Layout-Prompt liefert in einem Aufruf Boxen, Kategorien und Text in Lesereihenfolge. Der Vorsprung bei Mehrsprachigkeit ist auf dem eigenen Benchmark des Teams mit 1.493 Seiten gemessen, prüfe also zuerst eine Stichprobe deiner Sprachen.
Ein ML-Engineer mit einer dots.ocr-Pipeline, die schon in Produktion läuft
Entscheiden, ob er sie behält oder migriert
Prompts und Ausgabeschema sind stabil, aber dots.mocr desselben Teams ist gleich groß und parst zusätzlich Diagramme und Abbildungen. Ein Vergleichslauf auf deinen eigenen Seiten ist günstiger als ein Wechsel auf Ruf hin.
Eine Forscherin für Dokument-KI, die eine Baseline für Layouterkennung aufbaut
Einen VLM-Layoutdetektor mit Detektoren im Stil von YOLO vergleichen
Der Prompt nur für die Erkennung meldet auf dem Benchmark des Teams 0,845 F1 gegenüber 0,733 für DocLayout-YOLO, und die MIT-Gewichte lassen sich ohne Lizenzfragen feinabstimmen.
Bevor du dich festlegst
- Einrichtung
- Python 3.12, torch 2.7.0 auf CUDA 12.8, pip install -e . aus dem GitHub-Repository, dann ein Download-Skript; oder das Docker-Image rednotehilab/dots.ocr auf Basis des offiziellen vLLM-Images.
- Integrationen
- vLLM-Server mit API im Stil von OpenAI nach einem Launcher-Patch, Transformers mit flash-attention 2, Prompt-Modi für vollständiges Layout-Parsing, reine Erkennung, einfaches OCR und Grounded OCR auf einer Box.
- Daten und Datenschutz
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware. MIT erlaubt jede Nutzung; beim Laden wird Python-Code aus dem Modell-Repository ausgeführt.
- Kosten im großen Maßstab
- Die Gewichte sind kostenlos und etwa 6 GB in BF16 für 3,04 Milliarden Parameter; das Team veröffentlicht keinen Durchsatzwert und sagt, das Modell sei noch nicht für große PDF-Mengen optimiert.
- Grenzen
- Am besten unter 11.289.600 Pixeln pro Bild; empfohlen wird ein Rendering mit 200 DPI; wiederholte Sonderzeichen können endlose Ausgabe verursachen; Bilder werden übersprungen; keine Aktualisierung der Gewichte seit dem 31. Oktober 2025.
Was gut ist
- Layoutboxen, Kategorien und Text aus einem Modell
- Gemeldeter Vorsprung bei Mehrsprachigkeit auf einem hauseigenen Benchmark mit 100 Sprachen
- MIT-Lizenz
- 422.506 Downloads auf Hugging Face in den letzten 30 Tagen
Was nicht
- Benchmarks selbst gemeldet; externe Nachtests setzen es hinter neuere Modelle
- Abgelöst durch dots.mocr desselben Teams
- Einrichtung mit vLLM braucht einen sed-Patch und trust_remote_code
- Kann bei Auslassungspunkten und Unterstrichen in Schleifen geraten; Bilder werden nicht geparst
Am besten für
Teams mit bestehenden dots.ocr-Pipelines oder solche, die Bounding Boxes und Lesereihenfolge für ressourcenarme Sprachen aus einem einzigen MIT-lizenzierten Modell brauchen.
Alternativen zu dots.ocr
dots.ocr: häufige Fragen
- Lohnt sich dots.ocr?
- Es machte 2025 Layout-Parsing mit einem einzigen Modell glaubwürdig, ist Ende 2026 aber die Version, die seine eigenen Entwickler ersetzt haben. Wir bewerten es mit 3.6 von 5.
- Was kostet dots.ocr?
- Kostenlos unter der MIT-Lizenz. Keine gehostete API des Herstellers.
- Welche Nachteile hat dots.ocr?
- Benchmarks selbst gemeldet; externe Nachtests setzen es hinter neuere Modelle; Abgelöst durch dots.mocr desselben Teams; Einrichtung mit vLLM braucht einen sed-Patch und trust_remote_code; Kann bei Auslassungspunkten und Unterstrichen in Schleifen geraten; Bilder werden nicht geparst.
- Für wen eignet sich dots.ocr?
- Teams mit bestehenden dots.ocr-Pipelines oder solche, die Bounding Boxes und Lesereihenfolge für ressourcenarme Sprachen aus einem einzigen MIT-lizenzierten Modell brauchen.
- Was kostet dots.ocr für ein Team oder im Produktivbetrieb?
- Die Gewichte sind kostenlos und etwa 6 GB in BF16 für 3,04 Milliarden Parameter; das Team veröffentlicht keinen Durchsatzwert und sagt, das Modell sei noch nicht für große PDF-Mengen optimiert.
- Ist dots.ocr sicher für Firmendaten?
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware. MIT erlaubt jede Nutzung; beim Laden wird Python-Code aus dem Modell-Repository ausgeführt.
- Was sind die besten Alternativen zu dots.ocr?
- Die nächsten Alternativen, die wir getestet haben, sind PaddleOCR-VL-1.6, DeepSeek-OCR 2, FireRed-OCR und Falcon OCR.
Antworten geprüft am 2. Nov. 2026.