O que é FireRed-OCR?
O FireRed-OCR é um modelo aberto de parsing de documentos da FireRedTeam, da Xiaohongshu, lançado em 28 de fevereiro de 2026 sob Apache 2.0 para código e pesos, com um relatório técnico em 2 de março de 2026. Ele lê a imagem de uma página inteira e escreve Markdown, com tabelas e fórmulas em LaTeX, em uma única passada e sem um modelo de layout separado. A API do Hugging Face conta 2,13 bilhões de parâmetros; o modelo é o Qwen3-VL-2B-Instruct com a arquitetura inalterada.
O trabalho está no treinamento. Um currículo em três etapas vai de tarefas de detecção e leitura de regiões, para fine-tuning com Markdown padronizado, até uma etapa de aprendizado por reforço que a equipe chama de Format-Constrained GRPO, que recompensa sintaxe de fórmula válida, tabelas fechadas e estrutura corretamente aninhada. Páginas de treino difíceis foram reetiquetadas com a ajuda do Gemini 3 Pro, segundo o relatório.
FireRed-OCR vale a pena?
O FireRed-OCR é o parser de passada única mais forte na comparação dos próprios criadores, e a comparação mostra seus limites. A equipe informa 92,94 no OmniDocBench v1.5, à frente do DeepSeek-OCR 2, com 91,09, e do dots.ocr, com 88,41, e 11,07 pontos acima do Qwen3-VL-2B original do qual parte. Na mesma tabela, o PaddleOCR-VL-1.5 marca 94,50 e o GLM-OCR 94,60, ambos rodando um detector de layout antes da leitura. Todos os números são autodeclarados, e não encontramos nenhuma reexecução externa.
O teste de robustez da própria equipe é menos lisonjeiro. No FireRedBench, seu conjunto de layouts difíceis do mundo real, o FireRed-OCR marca 74,62 contra 76,47 do PaddleOCR-VL-1.5 e 79,68 do Gemini 3.0 Pro. A estrutura de tabelas no PubTabNet, 77,0, fica abaixo do MinerU2.5, com 88,4. Os ganhos são reais em fórmulas e na distância de edição de texto, 91,71 de CDM e 0,032, mas as tabelas continuam sendo onde um pipeline dedicado se sai melhor.
O apelo prático é que nada nele é exótico. Como a arquitetura é a do Qwen3-VL, ele carrega pela classe padrão do Transformers sem trust_remote_code, e os pesos em BF16 têm cerca de 4,3 GB, pequenos o bastante para uma GPU de consumo. O card documenta só um exemplo em Transformers com limite de saída de 8.192 tokens e um helper de prompt clonado do GitHub; não traz receita de vLLM, número de VRAM nem de páginas por segundo.
A atividade é a outra preocupação. O repositório no GitHub, com 295 estrelas, não recebe commits desde 4 de março de 2026, e houve um único checkpoint. O PaddleOCR-VL-1.6 tem metade do tamanho e informa pontuações mais altas, e o DeepSeek-OCR 2, que o FireRed-OCR supera, ao menos tem reexecuções independentes para comparação.
Onde ele se destaca
Um engenheiro de ML cuja stack já serve modelos Qwen3-VL
Adicionar parsing de páginas para Markdown sem um segundo framework de inferência
O checkpoint usa a classe padrão Qwen3VLForConditionalGeneration, então se encaixa no código Transformers existente. Conte com escrever o seu próprio batching e serving, já que o card não publica números de throughput.
Uma pesquisadora digitalizando notas de aula e artigos cheios de matemática
Obter LaTeX válido de páginas digitalizadas sem fórmulas quebradas
A etapa de aprendizado por reforço recompensa especificamente a sintaxe das fórmulas, e a equipe informa 91,71 de CDM no OmniDocBench v1.5. Confira as tabelas à mão, onde os parsers em pipeline pontuam mais.
Um cientista aplicado estudando métodos de treinamento de OCR
Reproduzir o aprendizado por reforço com restrição de formato em outro modelo base
O relatório técnico descreve o currículo em três etapas e os termos de recompensa para fórmulas, tabelas, hierarquia e texto, e os pesos Apache 2.0 dão uma baseline de 2B a partir da qual fazer fine-tuning.
Antes de decidir
- Configuração
- pip install transformers e qwen-vl-utils, clone o repositório FireRed-OCR no GitHub pelo helper de prompt e depois carregue FireRedTeam/FireRed-OCR em BF16; recomenda-se flash-attention 2.
- Integrações
- Só Transformers no card; a saída é Markdown com tabelas e fórmulas em LaTeX. Um Hugging Face Space hospeda uma demonstração.
- Dados e privacidade
- Auto-hospedado, então os documentos ficam no seu hardware. A Apache 2.0 permite uso comercial e fine-tuning; o relatório diz que amostras de treino difíceis foram reetiquetadas com o Gemini 3 Pro.
- Custo em escala
- Os pesos são gratuitos e têm cerca de 4,3 GB em BF16; não há preço hospedado, número de VRAM nem de páginas por segundo publicado, então dimensionar a frota exige o seu próprio benchmark.
- Limites
- Todas as pontuações são autodeclaradas; fica atrás dos parsers em pipeline em tabelas e no próprio FireRedBench da equipe; saída limitada a 8.192 novos tokens no exemplo; um único checkpoint e nenhum commit desde 4 de março de 2026.
O que é bom
- 92,94 no OmniDocBench v1.5, o melhor entre os modelos de ponta a ponta na tabela dos criadores
- Arquitetura padrão do Qwen3-VL, sem código remoto em que confiar
- Cerca de 4,3 GB de pesos em BF16
- Apache 2.0 para código e pesos
O que não é
- Todos os números de benchmark são autodeclarados
- Fica atrás do PaddleOCR-VL-1.5 e do GLM-OCR nos dois benchmarks da própria equipe
- Sem guia de serving nem números de VRAM ou throughput
- Sem commits no repositório desde março de 2026
Ideal para
Equipes que já servem o Qwen3-VL e querem um checkpoint de documento para Markdown pronto para encaixar, sem adicionar um pipeline de layout.
Alternativas ao FireRed-OCR
FireRed-OCR: perguntas frequentes
- FireRed-OCR vale a pena?
- Uma demonstração clara de que o aprendizado por reforço sobre formato pode elevar um modelo geral de 2B em 11 pontos, mas ainda não um motivo para abandonar os parsers em pipeline que continuam à frente dele. Damos nota 3.9 de 5.
- Quanto custa FireRed-OCR?
- Gratuito sob Apache 2.0. Sem API hospedada; só uma demonstração gratuita em um Hugging Face Space.
- Quais são as desvantagens de FireRed-OCR?
- Todos os números de benchmark são autodeclarados; fica atrás do PaddleOCR-VL-1.5 e do GLM-OCR nos dois benchmarks da própria equipe; sem guia de serving nem números de VRAM ou throughput; sem commits no repositório desde março de 2026.
- Para quem FireRed-OCR é indicado?
- Equipes que já servem o Qwen3-VL e querem um checkpoint de documento para Markdown pronto para encaixar, sem adicionar um pipeline de layout.
- Quanto custa FireRed-OCR para uma equipe ou em produção?
- Os pesos são gratuitos e têm cerca de 4,3 GB em BF16; não há preço hospedado, número de VRAM nem de páginas por segundo publicado, então dimensionar a frota exige o seu próprio benchmark.
- FireRed-OCR é seguro para dados da empresa?
- Auto-hospedado, então os documentos ficam no seu hardware. A Apache 2.0 permite uso comercial e fine-tuning; o relatório diz que amostras de treino difíceis foram reetiquetadas com o Gemini 3 Pro.
- Quais são as melhores alternativas ao FireRed-OCR?
- As alternativas mais próximas que analisamos são PaddleOCR-VL-1.6, DeepSeek-OCR 2, dots.ocr e Falcon OCR.
Respostas verificadas em 2 de nov. de 2026.