Was ist Falcon OCR?
Falcon OCR ist ein offenes Modell für Dokument-OCR vom Technology Innovation Institute in Abu Dhabi, veröffentlicht unter Apache 2.0 und beschrieben im technischen Bericht zu Falcon Perception vom 28. März 2026. Es wandelt ein Seitenbild in reinen Text um, Formeln in LaTeX und Tabellen in HTML. Version 1.5, hochgeladen am 11. September 2026, wurde auf historischen Scans, Handschrift, Kassenbons und schwierigen Tabellen neu trainiert und erhielt dann eine Stufe mit Reinforcement Learning gegen halluzinierten Text und ausufernde Wiederholungen.
Die Bauweise ist ungewöhnlich. Die meisten OCR-Modelle koppeln einen Vision-Encoder mit einem separaten Text-Decoder; Falcon OCR gibt Bild-Patches und Text-Tokens ab der ersten Schicht in einen einzigen Transformer mit 22 Schichten, wobei Bild-Tokens in beide Richtungen schauen und Text von links nach rechts dekodiert wird. Die Hugging-Face-API zählt 270 Millionen Parameter. Ein optionaler Modus lässt zuerst Baidus Detektor PP-DocLayoutV3 laufen, der etwa 30 Millionen weitere hinzufügt.
Lohnt sich Falcon OCR?
Bei Falcon OCR geht es um Größe gegen Genauigkeit, und nach TIIs Zahlen ist der Tausch gut. Version 1.5 erreicht End-to-End 82,4 auf olmOCR-bench, gegenüber 78,7 für PaddleOCR-VL-1.6 und 73,3 für DeepSeek-OCR 2, und liegt nur 1,4 Punkte hinter Chandra OCR 2 mit 83,8. Die Vergleichstabelle stammt von TII, die Model Card sagt nicht, ob die Werte der Konkurrenz neu gemessen oder übernommen wurden, und der Durchschnitt lässt die olmOCR-Kategorie für Kopf- und Fußzeilen aus. Er lässt sich also nicht neben offiziell gemeldete olmOCR-Durchschnitte wie die 76,0 von Marker stellen.
Tabellen sind die Schwachstelle. Auf OmniDocBench erreicht der End-to-End-Modus insgesamt 86,47, die Tabellenstruktur aber nur 69,51 TEDS gegenüber 90,24 für PaddleOCR-VL-1.6 in derselben Tabelle. Mit eingeschalteter Layout-Pipeline steigt der Gesamtwert auf 93,15 und der für Tabellen auf 88,53, um den Preis eines zweiten Modells, während der olmOCR-Durchschnitt auf 80,6 fällt. Die Model Card empfiehlt den End-to-End-Modus für die meisten Seiten und die Pipeline nur für dichte Zeitungen. Tabellenlastige Dokumente landen damit in einer unbequemen Mitte.
Die Betriebszahlen sind die konkretesten aller Modelle dieser Gruppe. Auf einer A100-80GB mit vLLM verarbeitet die vollständige Pipeline aus Layout und OCR 2,9 Bilder pro Sekunde bei 5.825 Tokens pro Sekunde, und die Gewichte sind eine einzige Datei mit 1,08 GB in float32. TII liefert ein Docker-Image mit einem OpenAI-kompatiblen Endpunkt und einer Route zum Hochladen von PDFs und dokumentiert den Betrieb beider Dienste auf einer einzigen GPU.
Die Kosten sind die üblichen für eine eigene Architektur. Das Laden braucht trust_remote_code und PyTorch 2.5 oder neuer für FlexAttention, und der erste Aufruf ist langsam, während torch.compile Kernels baut. Die Model Card nennt beschädigte Scans und sehr kleinen Text als offene Probleme; alte Scans erreichen auf olmOCR 41,8, mehr als die meisten Konkurrenten, aber immer noch die schwächste Kategorie.
Wo es sich lohnt
Ein Platform Engineer bei einem Startup für Spesenmanagement
Kassenbons und fotografierte Rechnungen in großer Menge mit kleinem GPU-Budget lesen
Betreibe das vLLM-Docker-Image mit skip_layout auf true und schicke Bilder an die Upload-Route. Das 270M-Modell lässt auf einer Karte Platz für hohe Parallelität; der Wert der Model Card für die A100 liegt bei 2,9 Bildern pro Sekunde mit eingeschaltetem Layout.
Eine Archivarin, die handschriftliche Briefe und historische Register digitalisiert
Gemischte Handschrift und verblassten Druck ohne Cloud-Dienst transkribieren
Version 1.5 wurde auf Handschrift und historischen Scans neu trainiert, und die Gewichte laufen auf einer Workstation-GPU. Prüfe die blassesten Seiten stichprobenartig, die die Model Card als verbleibende Schwäche nennt.
Ein Data Engineer, der alte Zeitungsausgaben für die Suche parst
Die Lesereihenfolge auf dichten mehrspaltigen Seiten erhalten
Rufe generate_with_layout auf, damit PP-DocLayoutV3 die Bereiche findet, bevor Falcon OCR jeden Ausschnitt liest. Gib dem Layoutmodell für den besten Durchsatz eine eigene GPU, wie die Docker-Anleitung empfiehlt.
Bevor du dich festlegst
- Einrichtung
- pip install torch>=2.5, transformers, pillow und einops, dann tiiuae/Falcon-OCR mit trust_remote_code laden; oder docker run ghcr.io/tiiuae/falcon-ocr:latest, das vLLM auf Port 8000 und die Parsing-Pipeline auf 5002 bereitstellt.
- Integrationen
- Python generate() mit 11 Ausgabekategorien, eine optionale Layout-Pipeline, ein OpenAI-kompatibler vLLM-Endpunkt und eine Multipart-Upload-Route, die Bilder und mehrseitige PDFs annimmt.
- Daten und Datenschutz
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung; beim Laden wird Python-Code aus dem Modell-Repository ausgeführt.
- Kosten im großen Maßstab
- Die Gewichte sind kostenlos; TII meldet 2,9 Bilder und 5.825 Tokens pro Sekunde auf einer A100-80GB durch die vollständige Pipeline, eine Karte schafft bei diesem Tempo also rund 250.000 Bilder am Tag. Einen gehosteten Preis gibt es nicht.
- Grenzen
- Schwache Tabellenstruktur im End-to-End-Modus; maximale Modelllänge 16.384 Tokens; beschädigte Scans und sehr kleine Glyphen von der Model Card als Schwäche genannt; die Vergleichstabelle stammt von TII selbst.
Was gut ist
- 270M Parameter, eine einzige Gewichtsdatei mit 1,08 GB
- 82,4 auf olmOCR-bench End-to-End, laut TII
- 2,9 Bilder pro Sekunde auf einer A100 mit Layout
- Apache 2.0, mit offiziellem vLLM-Docker-Image
Was nicht
- Vergleichstabelle stammt von TII selbst, und der olmOCR-Durchschnitt lässt Kopf- und Fußzeilen aus
- 69,51 Tabellen-TEDS im End-to-End-Modus
- Braucht trust_remote_code und PyTorch 2.5+
- Beschädigte Scans und winziger Text bleiben schwach
Am besten für
Teams, die große Seitenmengen aus Kassenbons, Formularen, Scans und Handschrift auf bescheidenen GPUs verarbeiten und denen Text wichtiger ist als Tabellenstruktur.
Alternativen zu Falcon OCR
Falcon OCR: häufige Fragen
- Lohnt sich Falcon OCR?
- Falcon OCR liest Text fast so gut wie zehnmal größere Modelle, zum Preis eines Durchlaufs mit 270M Parametern, sofern du ohne starke Tabellenstruktur auskommst. Wir bewerten es mit 4.0 von 5.
- Was kostet Falcon OCR?
- Kostenlos unter Apache 2.0. Keine gehostete API; TII veröffentlicht ein vLLM-Docker-Image zum Selbsthosten.
- Welche Nachteile hat Falcon OCR?
- Vergleichstabelle stammt von TII selbst, und der olmOCR-Durchschnitt lässt Kopf- und Fußzeilen aus; 69,51 Tabellen-TEDS im End-to-End-Modus; Braucht trust_remote_code und PyTorch 2.5+; Beschädigte Scans und winziger Text bleiben schwach.
- Für wen eignet sich Falcon OCR?
- Teams, die große Seitenmengen aus Kassenbons, Formularen, Scans und Handschrift auf bescheidenen GPUs verarbeiten und denen Text wichtiger ist als Tabellenstruktur.
- Was kostet Falcon OCR für ein Team oder im Produktivbetrieb?
- Die Gewichte sind kostenlos; TII meldet 2,9 Bilder und 5.825 Tokens pro Sekunde auf einer A100-80GB durch die vollständige Pipeline, eine Karte schafft bei diesem Tempo also rund 250.000 Bilder am Tag. Einen gehosteten Preis gibt es nicht.
- Ist Falcon OCR sicher für Firmendaten?
- Selbst gehostet, Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung; beim Laden wird Python-Code aus dem Modell-Repository ausgeführt.
- Was sind die besten Alternativen zu Falcon OCR?
- Die nächsten Alternativen, die wir getestet haben, sind PaddleOCR-VL-1.6, Surya OCR 2.5, DeepSeek-OCR 2, FireRed-OCR und dots.ocr.
Antworten geprüft am 2. Nov. 2026.
Du entwickelst Falcon OCR? Zeig diese Bewertung auf deiner Website
