O que é Qianfan-OCR?
O Qianfan-OCR é um modelo de documentos da equipe Qianfan da Baidu, lançado em março de 2026 sob Apache 2.0 com um relatório técnico em 11 de março. Ele combina o encoder de visão Qianfan-ViT da Baidu com um modelo de linguagem Qwen3-4B, 4,74 bilhões de parâmetros no total, e transforma a imagem de uma página diretamente em Markdown sem um modelo de layout separado. Os mesmos pesos cuidam do reconhecimento de tabelas e fórmulas, da extração de informações-chave, de perguntas e respostas sobre gráficos e documentos e de OCR em 192 idiomas.
Seu recurso distintivo é o Layout-as-Thought. Com o thinking ativado, o modelo primeiro escreve as bounding boxes, os tipos de elemento entre 25 categorias e a ordem de leitura, e depois o texto final, então um único modelo devolve dados de layout que os sistemas em pipeline obtêm de um detector.
É uma linha separada do PaddleOCR-VL e do Unlimited-OCR da Baidu, que vêm de outras equipes da empresa. No Hugging Face ele teve 34.433 downloads no último mês e 1.217 curtidas.
Qianfan-OCR vale a pena?
O Qianfan-OCR troca precisão no parsing de páginas por amplitude, e a troca fica clara nos números independentes. O ranking OmniDocBench v1.6 da OpenDataLab o lista com 93,90, atrás do GLM-OCR, com 95,22, e do OvisOCR2, com 96,47, ambos com menos de um terço do seu tamanho. O destaque da Baidu, 93,12 e primeiro lugar entre os modelos de ponta a ponta, é na versão mais antiga v1.5, onde a própria tabela dela também mostra o PaddleOCR-VL 1.5, baseado em pipeline, à frente com 94,50.
Onde ele lidera é no trabalho que vem depois do parsing. A Baidu informa média de 87,9 em cinco benchmarks de extração de informações-chave, contra 84,2 do Qwen3-VL-235B-A22B e 79,2 do Gemini-3.1-Pro, e 85,2 nas perguntas de raciocínio do CharXiv, onde o Qwen3-VL-4B marca 48,5. Ele marca 880 no OCRBench e cobre 192 idiomas, contra 109 do PaddleOCR-VL-1.6 e oito do GLM-OCR. Todos esses números são autodeclarados, embora os modelos de comparação sejam de uso geral e não ajustados para documentos.
O Layout-as-Thought é útil, mas não um ganho de graça. Os próprios números da Baidu mostram o modo thinking baixando o resultado geral no OmniDocBench v1.5 de 93,12 para 92,64, e a orientação dela é ativá-lo só em páginas mistas, como provas e jornais. O valor está em obter caixas e ordem de leitura sem rodar um detector, não em um texto melhor.
O tamanho é o principal custo. Com 4,74 bilhões de parâmetros, ele chega a 1,024 página por segundo em uma A100 só com quantização W8A8, e a 0,503 em precisão total, enquanto o MinerU 2.5 alcança 1,057 na mesma tabela. A seção de limitações da Baidu diz que o tamanho exclui dispositivos de borda e servidores só com CPU, e lista vídeo, texto curvo e manuscritos estilizados como pontos fracos.
Nossa opinião: o Qianfan-OCR merece seu lugar quando a saída alimenta uma decisão, como ler o total de uma nota fiscal ou a tendência de um gráfico, e não um arquivo. Equipes que só precisam de Markdown limpo obtêm mais precisão por GPU com o GLM-OCR ou o PaddleOCR-VL-1.6.
Onde ele se destaca
Uma equipe de contas a pagar em uma multinacional que recebe notas fiscais em uma dúzia de idiomas
Extrair os campos de fornecedor, total e impostos das notas sem uma etapa de OCR separada
Peça os campos ao modelo diretamente a partir da imagem da página em um servidor vLLM. A Baidu informa 86,5 de F1 no Nanonets KIE; a cobertura de 192 idiomas importa mais aqui que a pontuação em Markdown.
A equipe de dados de um analista de ações que processa relatórios de corretoras
Ler valores e tendências de gráficos que o OCR só de texto descarta
Faça perguntas sobre os gráficos a partir da imagem da página. A Baidu observa que sistemas de OCR seguido de LLM marcam 0,0 no CharXiv porque a estrutura do gráfico se perde; o Qianfan-OCR informa 94,0 nas perguntas descritivas.
Um engenheiro de IA para documentos substituindo uma stack de detector de layout mais reconhecedor
Obter bounding boxes, tipos de elemento e ordem de leitura de um único modelo
Ative o thinking em páginas mistas, como provas, para obter primeiro a saída de layout, e deixe-o desativado em documentos de coluna única, onde a Baidu diz que os resultados são melhores e mais rápidos sem ele.
Antes de decidir
- Configuração
- Carregue baidu/Qianfan-OCR com o AutoModelForImageTextToText do Transformers em BF16, ou rode vllm serve com --trust-remote-code e uma flag hf-overrides que o mapeia para a arquitetura InternVLChatModel.
- Integrações
- Transformers e vLLM; builds comunitários em GGUF para llama.cpp e em MLX para Apple silicon; plataforma Qianfan da Baidu AI Cloud; uma skill de agente no repositório de skills da Baidu.
- Dados e privacidade
- Apache 2.0, com alguns arquivos-fonte incluídos sob MIT. Auto-hospedado, os documentos ficam no seu hardware; os termos de retenção da plataforma Qianfan não constam do card do modelo.
- Custo em escala
- O checkpoint em BF16 tem cerca de 9,5 GB. A Baidu informa 1,024 página por segundo com W8A8 e 0,503 com W16A16 em uma A100, cerca de 3.700 e 1.800 páginas por hora por placa.
- Limites
- Entrada visual de até 4.096 tokens por imagem em blocos de 448 pixels; contexto de 32K por padrão. O Layout-as-Thought só foi validado no parsing do OmniDocBench v1.5, não em extração nem em perguntas e respostas; grande demais para dispositivos de borda ou servidores só com CPU.
O que é bom
- Média de 87,9 em cinco benchmarks de extração de informações-chave (autodeclarada)
- Perguntas e respostas sobre gráficos e documentos no mesmo modelo
- Saída de layout opcional com 25 tipos de elemento, sem detector separado
- OCR em 192 idiomas; Apache 2.0
O que não é
- 93,90 no OmniDocBench v1.6, atrás de parsers bem menores
- 4,74B de parâmetros; cerca de 1 página por segundo em uma A100 só quando quantizado
- O modo thinking baixa a pontuação geral de parsing
- O vLLM exige uma substituição de arquitetura; preço hospedado não publicado
Ideal para
Equipes que precisam de extração de campos, leitura de gráficos e OCR multilíngue a partir de um único modelo auto-hospedado e podem dispor de uma GPU de data center.
Alternativas ao Qianfan-OCR
Qianfan-OCR: perguntas frequentes
- Qianfan-OCR vale a pena?
- O Qianfan-OCR é o modelo a escolher quando uma página precisa ser lida e entendida em uma única chamada; para a conversão simples em Markdown, parsers menores são mais precisos. Damos nota 4.0 de 5.
- Quanto custa Qianfan-OCR?
- Gratuito sob Apache 2.0. Também oferecido na plataforma Qianfan da Baidu AI Cloud; o preço hospedado não consta do card do modelo.
- Quais são as desvantagens de Qianfan-OCR?
- 93,90 no OmniDocBench v1.6, atrás de parsers bem menores; 4,74B de parâmetros; cerca de 1 página por segundo em uma A100 só quando quantizado; o modo thinking baixa a pontuação geral de parsing; o vLLM exige uma substituição de arquitetura; preço hospedado não publicado.
- Para quem Qianfan-OCR é indicado?
- Equipes que precisam de extração de campos, leitura de gráficos e OCR multilíngue a partir de um único modelo auto-hospedado e podem dispor de uma GPU de data center.
- Quanto custa Qianfan-OCR para uma equipe ou em produção?
- O checkpoint em BF16 tem cerca de 9,5 GB. A Baidu informa 1,024 página por segundo com W8A8 e 0,503 com W16A16 em uma A100, cerca de 3.700 e 1.800 páginas por hora por placa.
- Qianfan-OCR é seguro para dados da empresa?
- Apache 2.0, com alguns arquivos-fonte incluídos sob MIT. Auto-hospedado, os documentos ficam no seu hardware; os termos de retenção da plataforma Qianfan não constam do card do modelo.
- Quais são as melhores alternativas ao Qianfan-OCR?
- As alternativas mais próximas que analisamos são GLM-OCR, PaddleOCR-VL-1.6, Unlimited-OCR 2 e Infinity-Parser2-Flash.
Respostas verificadas em 2 de nov. de 2026.
Você faz o Qianfan-OCR? Mostre esta nota no seu site
