O que é dots.ocr?
O dots.ocr é um modelo aberto de parsing de documentos do rednote hi lab, o grupo de IA da Xiaohongshu, lançado em 30 de julho de 2025 sob a licença MIT. Um único modelo de visão e linguagem cuida da detecção de layout e da leitura: ele devolve a bounding box, a categoria e o texto de cada bloco, com tabelas em HTML, fórmulas em LaTeX e todo o resto em Markdown, na ordem de leitura. A API do Hugging Face conta 3,04 bilhões de parâmetros, um modelo de linguagem de 1,7 bilhão de parâmetros mais um encoder de visão de 42 camadas.
Os pesos agora ficam na organização dots-studio no Hugging Face e o código na studio-dots-ai no GitHub, onde o último commit foi em 24 de março de 2026. Um checkpoint base veio em 31 de outubro de 2025, e em março de 2026 a equipe lançou o dots.mocr, um sucessor do mesmo tamanho que também converte gráficos e figuras em SVG.
dots.ocr vale a pena?
O dots.ocr era um parser forte quando foi lançado e hoje é mediano. Seu card informa 79,1 no olmOCR-bench e TEDS de tabelas de 88,6 em inglês no OmniDocBench original, à frente do MinerU, do Marker e do Gemini 2.5 Pro na época. São números dos criadores, alguns emprestados dos projetos MonkeyOCR e olmOCR e outros de execuções internas, com cabeçalhos e rodapés de página removidos antes da pontuação.
Concorrentes mais novos o rodaram de novo e o colocaram mais abaixo. A comparação da FireRedTeam o põe em 88,41 no OmniDocBench v1.5, atrás do DeepSeek-OCR 2, com 91,09, e do PaddleOCR-VL, com 92,86, e em 71,0 nas tabelas do PubTabNet. Nas páginas difíceis do mundo real do FireRedBench ele marca 72,93. Esses números vêm de concorrentes interessados no resultado, mas concordam na direção.
Seu ponto forte distintivo é a amplitude de idiomas. O dots.ocr-bench interno cobre 1.493 páginas de PDF em 100 idiomas, e ali a equipe informa uma distância de edição geral de 0,177 contra 0,251 do Gemini 2.5 Pro. A detecção de layout no mesmo relatório supera o DocLayout-YOLO, 0,831 contra 0,733 de F1. Não existe teste multilíngue independente, então a alegação se apoia em um benchmark construído pelos criadores.
A parte operacional não envelheceu bem. Servir com vLLM significa alterar o launcher do vllm com sed para registrar o modelo, salvar os pesos em um diretório sem pontos no nome e ativar trust_remote_code; as próprias avaliações do card usaram o vLLM 0.9.1. A seção de limitações avisa que sequências de reticências ou sublinhados podem fazer a saída se repetir sem fim, que imagens não são processadas e que o modelo não está otimizado para trabalho com grandes volumes de PDF. O dots.mocr, lançado pela mesma equipe em março de 2026 com o mesmo tamanho, resolve a lacuna das imagens e marca 84,0 no olmOCR-bench na comparação do Falcon OCR do TII.
Onde ele se destaca
Um fornecedor de localização que processa manuais digitalizados em dezenas de idiomas
Extrair texto com posições de layout de documentos em escritas com poucos recursos
O prompt de layout devolve caixas, categorias e texto na ordem de leitura em uma única chamada. A liderança multilíngue é medida no benchmark próprio da equipe, de 1.493 páginas, então valide primeiro com uma amostra dos seus idiomas.
Um engenheiro de ML com um pipeline de dots.ocr já em produção
Decidir se mantém ou migra
Os prompts e o esquema de saída são estáveis, mas o dots.mocr, da mesma equipe, tem o mesmo tamanho e acrescenta o processamento de gráficos e figuras. Uma comparação lado a lado com as suas próprias páginas sai mais barata do que trocar pela reputação.
Um pesquisador de IA para documentos montando uma baseline de detecção de layout
Comparar um detector de layout baseado em VLM com detectores no estilo YOLO
O prompt só de detecção informa 0,845 de F1 contra 0,733 do DocLayout-YOLO no benchmark da equipe, e os pesos MIT podem passar por fine-tuning sem questões de licença.
Antes de decidir
- Configuração
- Python 3.12, torch 2.7.0 em CUDA 12.8, pip install -e . a partir do repositório no GitHub e depois um script de download; ou a imagem Docker rednotehilab/dots.ocr, construída sobre a imagem oficial do vLLM.
- Integrações
- Servidor vLLM com API no estilo da OpenAI após um patch no launcher, Transformers com flash-attention 2, modos de prompt para parsing de layout completo, só detecção, OCR simples e OCR ancorado em uma caixa.
- Dados e privacidade
- Auto-hospedado, então os documentos ficam no seu hardware. A MIT permite qualquer uso; o carregamento executa Python do repositório do modelo.
- Custo em escala
- Os pesos são gratuitos e têm cerca de 6 GB em BF16 para 3,04 bilhões de parâmetros; a equipe não publica número de throughput e diz que o modelo ainda não está otimizado para grandes volumes de PDF.
- Limites
- Funciona melhor abaixo de 11.289.600 pixels por imagem; recomenda-se renderizar a 200 DPI; caracteres especiais repetidos podem causar saída sem fim; imagens são ignoradas; sem atualização dos pesos desde 31 de outubro de 2025.
O que é bom
- Caixas de layout, categorias e texto a partir de um único modelo
- Liderança multilíngue informada em um benchmark interno de 100 idiomas
- Licença MIT
- 422.506 downloads no Hugging Face nos últimos 30 dias
O que não é
- Benchmarks autodeclarados; reexecuções externas o colocam atrás de modelos mais novos
- Superado pelo dots.mocr, da mesma equipe
- A configuração no vLLM exige um patch com sed e trust_remote_code
- Pode entrar em loop com reticências e sublinhados; imagens não são processadas
Ideal para
Equipes com pipelines de dots.ocr já existentes, ou que precisam de bounding boxes e ordem de leitura para idiomas com poucos recursos a partir de um único modelo com licença MIT.
Alternativas ao dots.ocr
dots.ocr: perguntas frequentes
- dots.ocr vale a pena?
- Ele tornou crível em 2025 o parsing de layout com um único modelo, mas no fim de 2026 é a versão que os próprios criadores substituíram. Damos nota 3.6 de 5.
- Quanto custa dots.ocr?
- Gratuito sob a licença MIT. Sem API hospedada própria.
- Quais são as desvantagens de dots.ocr?
- Benchmarks autodeclarados; reexecuções externas o colocam atrás de modelos mais novos; superado pelo dots.mocr, da mesma equipe; a configuração no vLLM exige um patch com sed e trust_remote_code; pode entrar em loop com reticências e sublinhados; imagens não são processadas.
- Para quem dots.ocr é indicado?
- Equipes com pipelines de dots.ocr já existentes, ou que precisam de bounding boxes e ordem de leitura para idiomas com poucos recursos a partir de um único modelo com licença MIT.
- Quanto custa dots.ocr para uma equipe ou em produção?
- Os pesos são gratuitos e têm cerca de 6 GB em BF16 para 3,04 bilhões de parâmetros; a equipe não publica número de throughput e diz que o modelo ainda não está otimizado para grandes volumes de PDF.
- dots.ocr é seguro para dados da empresa?
- Auto-hospedado, então os documentos ficam no seu hardware. A MIT permite qualquer uso; o carregamento executa Python do reposit ório do modelo.
- Quais são as melhores alternativas ao dots.ocr?
- As alternativas mais próximas que analisamos são PaddleOCR-VL-1.6, DeepSeek-OCR 2, FireRed-OCR e Falcon OCR.
Respostas verificadas em 2 de nov. de 2026.