Qu’est-ce que FireRed-OCR ?
FireRed-OCR est un modèle ouvert d'analyse de documents de FireRedTeam, chez Xiaohongshu, sorti le 28 février 2026 sous Apache 2.0 pour le code comme pour les poids, avec un rapport technique le 2 mars 2026. Il lit l'image d'une page entière et écrit du Markdown, avec tableaux et formules LaTeX, en un seul passage et sans modèle de mise en page séparé. L'API de Hugging Face compte 2,13 milliards de paramètres ; le modèle est Qwen3-VL-2B-Instruct avec une architecture inchangée.
Le travail est dans l'entraînement. Un cursus en trois étapes passe de tâches de détection et de lecture de régions à un fine-tuning sur du Markdown standardisé, puis à une étape d'apprentissage par renforcement que l'équipe appelle Format-Constrained GRPO, qui récompense une syntaxe de formules valide, des tableaux fermés et une structure correctement imbriquée. Selon le rapport, les pages d'entraînement difficiles ont été réétiquetées avec l'aide de Gemini 3 Pro.
FireRed-OCR vaut-il le coup ?
FireRed-OCR est le parseur en un seul passage le plus solide de la comparaison faite par ses créateurs, et cette comparaison montre ses limites. L'équipe annonce 92,94 sur OmniDocBench v1.5, devant DeepSeek-OCR 2 à 91,09 et dots.ocr à 88,41, et 11,07 points au-dessus du Qwen3-VL-2B non modifié dont il part. Dans le même tableau, PaddleOCR-VL-1.5 obtient 94,50 et GLM-OCR 94,60, tous deux lançant un détecteur de mise en page avant la lecture. Tous les chiffres sont autodéclarés, et nous n'avons trouvé aucune réévaluation externe.
Le propre test de robustesse de l'équipe est moins flatteur. Sur FireRedBench, son jeu de mises en page réelles difficiles, FireRed-OCR obtient 74,62 contre 76,47 pour PaddleOCR-VL-1.5 et 79,68 pour Gemini 3.0 Pro. La structure des tableaux sur PubTabNet, à 77,0, se situe sous MinerU2.5 à 88,4. Les gains sont réels sur les formules et la distance d'édition du texte, 91,71 de CDM et 0,032, mais les tableaux restent le domaine où un pipeline dédié fait mieux.
Son attrait pratique est que rien en lui n'est exotique. Comme l'architecture est celle de Qwen3-VL, il se charge par la classe Transformers standard sans trust_remote_code, et les poids BF16 pèsent environ 4,3 GB, assez peu pour un seul GPU grand public. La fiche ne documente qu'un exemple Transformers avec un plafond de sortie de 8 192 tokens et un utilitaire de prompt cloné depuis GitHub ; elle ne donne ni recette vLLM, ni chiffre de VRAM, ni nombre de pages par seconde.
L'activité est l'autre inquiétude. Le dépôt GitHub, avec 295 étoiles, n'a reçu aucun commit depuis le 4 mars 2026, et il n'y a eu qu'un checkpoint. PaddleOCR-VL-1.6 fait la moitié de sa taille et annonce des scores plus élevés, et DeepSeek-OCR 2, que FireRed-OCR bat, a au moins des réévaluations indépendantes auxquelles se comparer.
Là où il fait la différence
Un ingénieur ML dont l'infrastructure sert déjà des modèles Qwen3-VL
Ajouter l'analyse de pages en Markdown sans second framework d'inférence
Le checkpoint utilise la classe standard Qwen3VLForConditionalGeneration et s'insère donc dans le code Transformers existant. Prévoyez d'écrire vous-même le traitement par lots et le service, car la fiche ne publie aucun chiffre de débit.
Une chercheuse qui numérise des notes de cours et des articles riches en mathématiques
Obtenir du LaTeX valide à partir de pages numérisées sans formules cassées
L'étape d'apprentissage par renforcement récompense spécifiquement la syntaxe des formules, et l'équipe annonce 91,71 de CDM sur OmniDocBench v1.5. Vérifiez les tableaux à la main, domaine où les parseurs en pipeline obtiennent de meilleurs scores.
Un chercheur appliqué qui étudie les méthodes d'entraînement de l'OCR
Reproduire l'apprentissage par renforcement contraint par le format sur un autre modèle de base
Le rapport technique détaille le cursus en trois étapes et les termes de récompense pour les formules, les tableaux, la hiérarchie et le texte, et les poids sous Apache 2.0 fournissent une base 2B à affiner.
Avant de vous engager
- Mise en route
- pip install transformers et qwen-vl-utils, clonez le dépôt GitHub de FireRed-OCR pour son utilitaire de prompt, puis chargez FireRedTeam/FireRed-OCR en BF16 ; flash-attention 2 est recommandé.
- Intégrations
- Uniquement Transformers sur la fiche ; sortie en Markdown avec tableaux et formules LaTeX. Un Space Hugging Face héberge une démo.
- Données et confidentialité
- Auto-hébergé, donc les documents restent sur votre matériel. Apache 2.0 autorise l'usage commercial et le fine-tuning ; le rapport indique que les exemples d'entraînement difficiles ont été réétiquetés avec Gemini 3 Pro.
- Coût à grande échelle
- Les poids sont gratuits et pèsent environ 4,3 GB en BF16 ; aucun prix hébergé, chiffre de VRAM ou nombre de pages par seconde n'est publié, si bien que le dimensionnement d'un parc demande votre propre benchmark.
- Limites
- Tous les scores sont autodéclarés ; derrière les parseurs en pipeline sur les tableaux et sur le propre FireRedBench de l'équipe ; sortie plafonnée à 8 192 nouveaux tokens dans l'exemple ; un seul checkpoint et aucun commit depuis le 4 mars 2026.
Les points forts
- 92,94 sur OmniDocBench v1.5, premier des modèles de bout en bout dans le tableau de ses créateurs
- Architecture Qwen3-VL standard, sans code distant à approuver
- Environ 4,3 GB de poids en BF16
- Apache 2.0 pour le code et les poids
Les points faibles
- Tous les chiffres de benchmark sont autodéclarés
- Derrière PaddleOCR-VL-1.5 et GLM-OCR sur ses deux propres benchmarks
- Ni guide de déploiement, ni chiffres de VRAM ou de débit
- Aucun commit dans le dépôt depuis mars 2026
Idéal pour
Les équipes qui servent déjà Qwen3-VL et veulent un checkpoint document-vers-Markdown prêt à l'emploi sans ajouter de pipeline de mise en page.
Alternatives à FireRed-OCR
FireRed-OCR : questions fréquentes
- FireRed-OCR vaut-il le coup ?
- Une démonstration claire que l'apprentissage par renforcement sur le format peut faire gagner 11 points à un modèle généraliste 2B, mais pas encore une raison de quitter les parseurs en pipeline qui le battent toujours. Nous lui donnons 3.9 sur 5.
- Combien coûte FireRed-OCR ?
- Gratuit sous Apache 2.0. Pas d'API hébergée ; seulement une démo gratuite sur un Space Hugging Face.
- Quels sont les inconvénients de FireRed-OCR ?
- Tous les chiffres de benchmark sont autodéclarés; derrière PaddleOCR-VL-1.5 et GLM-OCR sur ses deux propres benchmarks; ni guide de déploiement, ni chiffres de VRAM ou de débit; aucun commit dans le dépôt depuis mars 2026.
- À qui s’adresse FireRed-OCR ?
- Les équipes qui servent déjà Qwen3-VL et veulent un checkpoint document-vers-Markdown prêt à l'emploi sans ajouter de pipeline de mise en page.
- Combien coûte FireRed-OCR pour une équipe ou en production ?
- Les poids sont gratuits et pèsent environ 4,3 GB en BF16 ; aucun prix hébergé, chiffre de VRAM ou nombre de pages par seconde n'est publié, si bien que le dimensionnement d'un parc demande votre propre benchmark.
- FireRed-OCR est-il sûr pour les données de l’entreprise ?
- Auto-hébergé, donc les documents restent sur votre matériel. Apache 2.0 autorise l'usage commercial et le fine-tuning ; le rapport indique que les exemples d'entraînement difficiles ont été réétiquetés avec Gemini 3 Pro.
- Quelles sont les meilleures alternatives à FireRed-OCR ?
- Les alternatives les plus proches que nous avons testées sont PaddleOCR-VL-1.6, DeepSeek-OCR 2, dots.ocr et Falcon OCR.
Réponses vérifiées le 2 nov. 2026.