Was ist FireRed-OCR?
FireRed-OCR ist ein offenes Modell zum Parsen von Dokumenten von Xiaohongshus FireRedTeam, veröffentlicht am 28. Februar 2026 unter Apache 2.0 für Code und Gewichte, mit einem technischen Bericht vom 2. März 2026. Es liest ein ganzes Seitenbild und schreibt Markdown mit Tabellen und LaTeX-Formeln, in einem Durchgang und ohne separates Layoutmodell. Die Hugging-Face-API zählt 2,13 Milliarden Parameter; das Modell ist Qwen3-VL-2B-Instruct mit unveränderter Architektur.
Die Arbeit steckt im Training. Ein dreistufiger Lehrplan führt von Aufgaben zur Erkennung und zum Lesen von Bereichen über Feinabstimmung auf standardisiertem Markdown zu einer Stufe mit Reinforcement Learning, die das Team Format-Constrained GRPO nennt und die gültige Formelsyntax, geschlossene Tabellen und korrekt verschachtelte Strukturen belohnt. Schwierige Trainingsseiten wurden laut Bericht mit Hilfe von Gemini 3 Pro neu gelabelt.
Lohnt sich FireRed-OCR?
FireRed-OCR ist im Vergleich seiner Entwickler der stärkste Parser mit einem Durchgang, und derselbe Vergleich zeigt seine Grenzen. Das Team meldet 92,94 auf OmniDocBench v1.5, vor DeepSeek-OCR 2 mit 91,09 und dots.ocr mit 88,41, und 11,07 Punkte über dem unveränderten Qwen3-VL-2B, von dem es ausgeht. In derselben Tabelle erreichen PaddleOCR-VL-1.5 94,50 und GLM-OCR 94,60, die beide vor dem Lesen einen Layoutdetektor laufen lassen. Jeder Wert ist selbst gemeldet, und wir haben keinen externen Nachtest gefunden.
Der eigene Robustheitstest des Teams fällt weniger schmeichelhaft aus. Auf FireRedBench, seinem Satz unbequemer realer Layouts, erreicht FireRed-OCR 74,62 gegenüber 76,47 für PaddleOCR-VL-1.5 und 79,68 für Gemini 3.0 Pro. Die Tabellenstruktur auf PubTabNet liegt mit 77,0 unter MinerU2.5 mit 88,4. Bei Formeln und Text-Edit-Distance sind die Zugewinne echt, 91,71 CDM und 0,032, aber bei Tabellen ist eine eigene Pipeline weiterhin besser.
Der praktische Reiz liegt darin, dass nichts daran exotisch ist. Da die Architektur Qwen3-VL ist, lädt es über die Standardklasse von Transformers ohne trust_remote_code, und die BF16-Gewichte sind etwa 4,3 GB groß, klein genug für eine Consumer-GPU. Die Model Card dokumentiert nur ein Transformers-Beispiel mit einer Ausgabegrenze von 8.192 Tokens und einer Prompt-Hilfe, die von GitHub geklont wird; ein Rezept für vLLM, eine VRAM-Angabe oder eine Zahl für Seiten pro Sekunde gibt es nicht.
Die Aktivität ist die andere Sorge. Das GitHub-Repository mit 295 Sternen hat seit dem 4. März 2026 keine Commits mehr, und es gab einen einzigen Checkpoint. PaddleOCR-VL-1.6 ist halb so groß und meldet höhere Werte, und für DeepSeek-OCR 2, das FireRed-OCR schlägt, gibt es wenigstens unabhängige Nachtests zum Vergleich.
Wo es sich lohnt
Ein ML-Engineer, dessen Stack bereits Qwen3-VL-Modelle betreibt
Parsing von Seiten zu Markdown ohne ein zweites Inferenz-Framework ergänzen
Der Checkpoint nutzt die Standardklasse Qwen3VLForConditionalGeneration und passt daher in bestehenden Transformers-Code. Rechne damit, Batching und Betrieb selbst zu schreiben, da die Model Card keine Durchsatzwerte veröffentlicht.
Eine Forscherin, die mathematiklastige Vorlesungsskripte und Paper digitalisiert
Gültiges LaTeX aus gescannten Seiten ohne kaputte Formeln bekommen
Die Stufe mit Reinforcement Learning belohnt gezielt Formelsyntax, und das Team meldet 91,71 CDM auf OmniDocBench v1.5. Prüfe Tabellen von Hand, dort schneiden Pipeline-Parser besser ab.
Ein angewandter Wissenschaftler, der Trainingsmethoden für OCR untersucht
Formatbeschränktes Reinforcement Learning auf einem anderen Basismodell nachbauen
Der technische Bericht legt den dreistufigen Lehrplan und die Belohnungsterme für Formeln, Tabellen, Hierarchie und Text dar, und die Gewichte unter Apache 2.0 bieten eine 2B-Baseline für die Feinabstimmung.
Bevor du dich festlegst
- Einrichtung
- pip install transformers und qwen-vl-utils, das GitHub-Repository von FireRed-OCR für die Prompt-Hilfe klonen, dann FireRedTeam/FireRed-OCR in BF16 laden; flash-attention 2 wird empfohlen.
- Integrationen
- Laut Model Card nur Transformers; Ausgabe in Markdown mit Tabellen und LaTeX-Formeln. Ein Hugging Face Space hostet eine Demo.
- Daten und Datenschutz
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung und Feinabstimmung; laut Bericht wurden schwierige Trainingsbeispiele mit Gemini 3 Pro neu gelabelt.
- Kosten im großen Maßstab
- Die Gewichte sind kostenlos und etwa 4,3 GB in BF16; weder ein gehosteter Preis noch eine VRAM-Angabe oder eine Zahl für Seiten pro Sekunde ist veröffentlicht, die Dimensionierung braucht also einen eigenen Benchmark.
- Grenzen
- Jeder Wert ist selbst gemeldet; liegt bei Tabellen und auf dem teameigenen FireRedBench hinter Pipeline-Parsern; Ausgabe im Beispiel auf 8.192 neue Tokens begrenzt; ein einziger Checkpoint und keine Commits seit dem 4. März 2026.
Was gut ist
- 92,94 auf OmniDocBench v1.5, Spitze unter den End-to-End-Modellen in der Tabelle der Entwickler
- Standardarchitektur von Qwen3-VL, kein fremder Code, dem man vertrauen muss
- Etwa 4,3 GB BF16-Gewichte
- Apache 2.0 für Code und Gewichte
Was nicht
- Alle Benchmark-Werte selbst gemeldet
- Liegt auf beiden eigenen Benchmarks hinter PaddleOCR-VL-1.5 und GLM-OCR
- Keine Anleitung zum Betrieb, keine Angaben zu VRAM oder Durchsatz
- Keine Commits im Repository seit März 2026
Am besten für
Teams, die bereits Qwen3-VL betreiben und einen direkt einsetzbaren Checkpoint für Dokumente zu Markdown wollen, ohne eine Layout-Pipeline hinzuzufügen.
Alternativen zu FireRed-OCR
FireRed-OCR: häufige Fragen
- Lohnt sich FireRed-OCR?
- Ein klarer Beleg dafür, dass Reinforcement Learning auf das Format ein allgemeines 2B-Modell um 11 Punkte heben kann, aber noch kein Grund, die Pipeline-Parser zu verlassen, die es weiterhin schlagen. Wir bewerten es mit 3.9 von 5.
- Was kostet FireRed-OCR?
- Kostenlos unter Apache 2.0. Keine gehostete API; nur eine kostenlose Demo als Hugging Face Space.
- Welche Nachteile hat FireRed-OCR?
- Alle Benchmark-Werte selbst gemeldet; Liegt auf beiden eigenen Benchmarks hinter PaddleOCR-VL-1.5 und GLM-OCR; Keine Anleitung zum Betrieb, keine Angaben zu VRAM oder Durchsatz; Keine Commits im Repository seit März 2026.
- Für wen eignet sich FireRed-OCR?
- Teams, die bereits Qwen3-VL betreiben und einen direkt einsetzbaren Checkpoint für Dokumente zu Markdown wollen, ohne eine Layout-Pipeline hinzuzufügen.
- Was kostet FireRed-OCR für ein Team oder im Produktivbetrieb?
- Die Gewichte sind kostenlos und etwa 4,3 GB in BF16; weder ein gehosteter Preis noch eine VRAM-Angabe oder eine Zahl für Seiten pro Sekunde ist veröffentlicht, die Dimensionierung braucht also einen eigenen Benchmark.
- Ist FireRed-OCR sicher für Firmendaten?
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung und Feinabstimmung; laut Bericht wurden schwierige Trainingsbeispiele mit Gemini 3 Pro neu gelabelt.
- Was sind die besten Alternativen zu FireRed-OCR?
- Die nächsten Alternativen, die wir getestet haben, sind PaddleOCR-VL-1.6, DeepSeek-OCR 2, dots.ocr und Falcon OCR.
Antworten geprüft am 2. Nov. 2026.