¿Qué es FireRed-OCR?
FireRed-OCR es un modelo abierto de análisis de documentos del FireRedTeam de Xiaohongshu, publicado el 28 de febrero de 2026 con licencia Apache 2.0 tanto para el código como para los pesos, con un informe técnico del 2 de marzo de 2026. Lee la imagen de una página entera y escribe Markdown, con tablas y fórmulas en LaTeX, en una sola pasada y sin un modelo de maquetación aparte. La API de Hugging Face cuenta 2.130 millones de parámetros; el modelo es Qwen3-VL-2B-Instruct con la arquitectura sin cambios.
El trabajo está en el entrenamiento. Un currículo en tres fases pasa de tareas de detección y lectura de regiones a un ajuste fino con Markdown normalizado y después a una fase de aprendizaje por refuerzo que el equipo llama Format-Constrained GRPO, que premia la sintaxis válida de las fórmulas, las tablas cerradas y una estructura bien anidada. Según el informe, las páginas de entrenamiento difíciles se volvieron a etiquetar con ayuda de Gemini 3 Pro.
¿Merece la pena FireRed-OCR?
FireRed-OCR es el analizador de una sola pasada más fuerte en la comparación de sus creadores, y esa comparación muestra sus límites. El equipo comunica 92,94 en OmniDocBench v1.5, por delante de DeepSeek-OCR 2 con 91,09 y dots.ocr con 88,41, y 11,07 puntos por encima del Qwen3-VL-2B sin modificar del que parte. En la misma tabla, PaddleOCR-VL-1.5 obtiene 94,50 y GLM-OCR 94,60, y ambos ejecutan un detector de maquetación antes de leer. Todas las cifras son propias, y no encontramos ninguna evaluación externa.
La prueba de robustez del propio equipo es menos favorable. En FireRedBench, su conjunto de maquetaciones reales complicadas, FireRed-OCR obtiene 74,62 frente a 76,47 de PaddleOCR-VL-1.5 y 79,68 de Gemini 3.0 Pro. La estructura de tablas en PubTabNet, 77,0, queda por debajo de MinerU2.5 con 88,4. Las mejoras son reales en fórmulas y en distancia de edición del texto, 91,71 de CDM y 0,032, pero las tablas siguen siendo el terreno donde una canalización dedicada lo hace mejor.
Su atractivo práctico es que no tiene nada exótico. Como la arquitectura es Qwen3-VL, se carga con la clase estándar de Transformers sin trust_remote_code, y los pesos en BF16 ocupan unos 4,3 GB, lo bastante poco para una sola GPU de consumo. La ficha solo documenta un ejemplo con Transformers con un límite de salida de 8.192 tokens y un ayudante de prompts que se clona de GitHub; no da receta para vLLM, cifra de VRAM ni páginas por segundo.
La actividad es la otra preocupación. El repositorio de GitHub, con 295 estrellas, no tiene commits desde el 4 de marzo de 2026, y ha habido un solo checkpoint. PaddleOCR-VL-1.6 tiene la mitad de tamaño y comunica puntuaciones más altas, y DeepSeek-OCR 2, al que FireRed-OCR supera, al menos tiene evaluaciones independientes con las que comparar.
Dónde se gana su sitio
Un ingeniero de ML cuya infraestructura ya sirve modelos Qwen3-VL
Añadir el análisis de páginas a Markdown sin un segundo framework de inferencia
El checkpoint usa la clase estándar Qwen3VLForConditionalGeneration, así que encaja en el código de Transformers existente. Cuenta con escribir tu propio procesamiento por lotes y tu propio servicio, porque la ficha no publica cifras de rendimiento.
Una investigadora que digitaliza apuntes y artículos con muchas matemáticas
Obtener LaTeX válido de páginas escaneadas sin fórmulas rotas
La fase de aprendizaje por refuerzo premia específicamente la sintaxis de las fórmulas, y el equipo comunica 91,71 de CDM en OmniDocBench v1.5. Revisa las tablas a mano, donde los analizadores por canalización puntúan más alto.
Un científico aplicado que estudia métodos de entrenamiento de OCR
Reproducir el aprendizaje por refuerzo con restricciones de formato sobre otro modelo base
El informe técnico expone el currículo en tres fases y los términos de recompensa para fórmulas, tablas, jerarquía y texto, y los pesos Apache 2.0 dan una base de 2B a partir de la que ajustar.
Antes de decidirte
- Puesta en marcha
- pip install transformers y qwen-vl-utils, clona el repositorio de GitHub de FireRed-OCR para su ayudante de prompts y después carga FireRedTeam/FireRed-OCR en BF16; se recomienda flash-attention 2.
- Integraciones
- Solo Transformers en la ficha; produce Markdown con tablas y fórmulas en LaTeX. Un Space de Hugging Face aloja una demo.
- Datos y privacidad
- Autoalojado, así que los documentos se quedan en tu hardware. Apache 2.0 permite el uso comercial y el ajuste fino; el informe dice que las muestras de entrenamiento difíciles se volvieron a etiquetar con Gemini 3 Pro.
- Coste a escala
- Los pesos son gratuitos y ocupan unos 4,3 GB en BF16; no se publica precio alojado, cifra de VRAM ni páginas por segundo, así que dimensionar una flota exige tu propio benchmark.
- Límites
- Todas las puntuaciones son propias; queda por detrás de los analizadores por canalización en tablas y en el propio FireRedBench del equipo; salida limitada a 8.192 tokens nuevos en el ejemplo; un solo checkpoint y sin commits desde el 4 de marzo de 2026.
Lo bueno
- 92,94 en OmniDocBench v1.5, el mejor de los modelos de extremo a extremo en la tabla de sus creadores
- Arquitectura estándar de Qwen3-VL, sin código remoto en el que confiar
- Unos 4,3 GB de pesos en BF16
- Apache 2.0 para el código y los pesos
Lo malo
- Todas las cifras de benchmark son propias
- Queda por detrás de PaddleOCR-VL-1.5 y GLM-OCR en sus dos propios benchmarks
- Sin guía para servirlo ni cifras de VRAM o rendimiento
- Sin commits en el repositorio desde marzo de 2026
Ideal para
Equipos que ya sirven Qwen3-VL y quieren un checkpoint de documento a Markdown que encaje directamente sin añadir una canalización de maquetación.
Alternativas a FireRed-OCR
FireRed-OCR: preguntas frecuentes
- ¿Merece la pena FireRed-OCR?
- Una demostración clara de que el aprendizaje por refuerzo sobre el formato puede subir 11 puntos a un modelo general de 2B, pero todavía no un motivo para abandonar los analizadores por canalización que aún lo superan. Le damos un 3.9 sobre 5.
- ¿Cuánto cuesta FireRed-OCR?
- Gratuito con licencia Apache 2.0. Sin API alojada; solo una demo gratuita en un Space de Hugging Face.
- ¿Qué inconvenientes tiene FireRed-OCR?
- Todas las cifras de benchmark son propias; queda por detrás de PaddleOCR-VL-1.5 y GLM-OCR en sus dos propios benchmarks; sin guía para servirlo ni cifras de VRAM o rendimiento; sin commits en el repositorio desde marzo de 2026.
- ¿Para quién es FireRed-OCR?
- Equipos que ya sirven Qwen3-VL y quieren un checkpoint de documento a Markdown que encaje directamente sin añadir una canalización de maquetación.
- ¿Cuánto cuesta FireRed-OCR para un equipo o en producción?
- Los pesos son gratuitos y ocupan unos 4,3 GB en BF16; no se publica precio alojado, cifra de VRAM ni páginas por segundo, así que dimensionar una flota exige tu propio benchmark.
- ¿Es FireRed-OCR seguro para los datos de la empresa?
- Autoalojado, así que los documentos se quedan en tu hardware. Apache 2.0 permite el uso comercial y el ajuste fino; el informe dice que las muestras de entrenamiento difíciles se volvieron a etiquetar con Gemini 3 Pro.
- ¿Cuáles son las mejores alternativas a FireRed-OCR?
- Las alternativas más cercanas que hemos analizado son PaddleOCR-VL-1.6, DeepSeek-OCR 2, dots.ocr y Falcon OCR.
Respuestas comprobadas el 2 nov 2026.