O que é Falcon OCR?
O Falcon OCR é um modelo aberto de OCR de documentos do Technology Innovation Institute, de Abu Dhabi, lançado sob Apache 2.0 e descrito no relatório técnico Falcon Perception de 28 de março de 2026. Ele transforma a imagem de uma página em texto simples, LaTeX para fórmulas ou HTML para tabelas. A versão 1.5, publicada em 11 de setembro de 2026, foi retreinada com digitalizações históricas, manuscritos, recibos e tabelas difíceis e ganhou uma etapa de aprendizado por reforço voltada para texto alucinado e repetição descontrolada.
O design é incomum. A maioria dos modelos de OCR combina um encoder de visão com um decoder de texto separado; o Falcon OCR alimenta patches de imagem e tokens de texto em um único Transformer de 22 camadas desde a primeira camada, com os tokens de imagem com atenção nas duas direções e o texto decodificado da esquerda para a direita. A API do Hugging Face conta 270 milhões de parâmetros. Um modo opcional roda antes o detector PP-DocLayoutV3 da Baidu, que acrescenta cerca de 30 milhões.
Falcon OCR vale a pena?
O argumento do Falcon OCR é tamanho contra precisão, e pelos números do TII a troca é boa. A versão 1.5 marca 82,4 no olmOCR-bench de ponta a ponta, contra 78,7 do PaddleOCR-VL-1.6 e 73,3 do DeepSeek-OCR 2, e só 1,4 ponto atrás do Chandra OCR 2, com 83,8. A tabela comparativa é do TII, o card não diz se as pontuações dos rivais foram refeitas ou copiadas, e a média deixa de fora a categoria de cabeçalhos e rodapés do olmOCR, então não pode ser posta ao lado de médias oficiais do olmOCR como os 76,0 do Marker.
As tabelas são o ponto fraco. No OmniDocBench, o modo de ponta a ponta chega a 86,47 no geral, mas a estrutura de tabelas marca 69,51 de TEDS contra 90,24 do PaddleOCR-VL-1.6 na mesma tabela. Ativar o pipeline de layout eleva a pontuação geral para 93,15 e as tabelas para 88,53, ao custo de um segundo modelo, enquanto a média no olmOCR cai para 80,6. O card recomenda o modo de ponta a ponta para a maioria das páginas e o pipeline só para jornais densos, o que deixa documentos cheios de tabelas em um meio-termo incômodo.
Os números operacionais são os mais concretos de todos os modelos deste grupo. Em uma A100-80GB com vLLM, o pipeline completo de layout e OCR processa 2,9 imagens por segundo a 5.825 tokens por segundo, e os pesos são um único arquivo de 1,08 GB armazenado em float32. O TII oferece uma imagem Docker com endpoint compatível com a OpenAI e uma rota de upload de PDF, e documenta como rodar os dois serviços em uma única GPU.
Os custos são os de sempre para uma arquitetura própria. O carregamento exige trust_remote_code e PyTorch 2.5 ou mais recente para o FlexAttention, e a primeira chamada é lenta enquanto o torch.compile monta os kernels. O card lista digitalizações degradadas e textos muito pequenos como problemas em aberto; digitalizações antigas marcam 41,8 no olmOCR, à frente da maioria dos rivais, mas ainda a categoria mais fraca.
Onde ele se destaca
Um engenheiro de plataforma em uma startup de gestão de despesas
Ler recibos e notas fiscais fotografadas em grande volume com um orçamento pequeno de GPU
Rode a imagem Docker de vLLM com skip_layout definido como true e envie as imagens pela rota de upload. O modelo de 270M deixa espaço em uma única placa para alta concorrência; o número do card na A100 é de 2,9 imagens por segundo com o layout ativado.
Uma arquivista digitalizando cartas manuscritas e registros históricos
Transcrever manuscritos variados e impressos desbotados sem um serviço na nuvem
A versão 1.5 foi retreinada com manuscritos e digitalizações históricas, e os pesos rodam na GPU de uma estação de trabalho. Confira por amostragem as páginas mais apagadas, que o card aponta como um ponto fraco remanescente.
Um engenheiro de dados processando edições antigas de jornais para busca
Manter a ordem de leitura em páginas densas com várias colunas
Chame generate_with_layout para que o PP-DocLayoutV3 encontre as regiões antes de o Falcon OCR ler cada recorte. Dê ao modelo de layout a própria GPU para o melhor throughput, como sugere o guia do Docker.
Antes de decidir
- Configuração
- pip install torch>=2.5, transformers, pillow e einops, depois carregue tiiuae/Falcon-OCR com trust_remote_code; ou docker run ghcr.io/tiiuae/falcon-ocr:latest, que expõe o vLLM na porta 8000 e o pipeline de parsing na 5002.
- Integrações
- generate() em Python com 11 categorias de saída, um pipeline de layout opcional, um endpoint vLLM compatível com a OpenAI e uma rota de upload multipart que aceita imagens e PDFs de várias páginas.
- Dados e privacidade
- Auto-hospedado, então os documentos ficam no seu hardware. A Apache 2.0 permite uso comercial; o carregamento executa Python do repositório do modelo.
- Custo em escala
- Os pesos são gratuitos; o TII informa 2,9 imagens e 5.825 tokens por segundo em uma A100-80GB pelo pipeline completo, então uma placa cobre cerca de 250.000 imagens por dia nesse ritmo. Não existe preço hospedado.
- Limites
- Estrutura de tabelas fraca no modo de ponta a ponta; comprimento máximo do modelo de 16.384 tokens; digitalizações degradadas e glifos muito pequenos apontados pelo card; a tabela comparativa é do próprio TII.
O que é bom
- 270M de parâmetros, um único arquivo de pesos de 1,08 GB
- 82,4 no olmOCR-bench de ponta a ponta, segundo o TII
- 2,9 imagens por segundo em uma A100 com layout
- Apache 2.0, com uma imagem Docker oficial de vLLM
O que não é
- A tabela comparativa é do próprio TII, e a média do olmOCR omite cabeçalhos e rodapés
- 69,51 de TEDS em tabelas no modo de ponta a ponta
- Exige trust_remote_code e PyTorch 2.5+
- Digitalizações degradadas e textos minúsculos continuam fracos
Ideal para
Equipes que processam grandes volumes de recibos, formulários, digitalizações e manuscritos em GPUs modestas, quando o texto importa mais que a estrutura das tabelas.
Alternativas ao Falcon OCR
Falcon OCR: perguntas frequentes
- Falcon OCR vale a pena?
- O Falcon OCR lê texto quase tão bem quanto modelos dez vezes maiores pelo custo de uma passada de 270M de parâmetros, desde que você consiga viver sem uma boa estrutura de tabelas. Damos nota 4.0 de 5.
- Quanto custa Falcon OCR?
- Gratuito sob Apache 2.0. Sem API hospedada; o TII publica uma imagem Docker de vLLM para auto-hospedagem.
- Quais são as desvantagens de Falcon OCR?
- A tabela comparativa é do próprio TII, e a média do olmOCR omite cabeçalhos e rodapés; 69,51 de TEDS em tabelas no modo de ponta a ponta; exige trust_remote_code e PyTorch 2.5+; digitalizações degradadas e textos minúsculos continuam fracos.
- Para quem Falcon OCR é indicado?
- Equipes que processam grandes volumes de recibos, formulários, digitalizações e manuscritos em GPUs modestas, quando o texto importa mais que a estrutura das tabelas.
- Quanto custa Falcon OCR para uma equipe ou em produção?
- Os pesos são gratuitos; o TII informa 2,9 imagens e 5.825 tokens por segundo em uma A100-80GB pelo pipeline completo, então uma placa cobre cerca de 250.000 imagens por dia nesse ritmo. Não existe preço hospedado.
- Falcon OCR é seguro para dados da empresa?
- Auto-hospedado, então os documentos ficam no seu hardware. A Apache 2.0 permite uso comercial; o carregamento executa Python do repositório do modelo.
- Quais são as melhores alternativas ao Falcon OCR?
- As alternativas mais próximas que analisamos são PaddleOCR-VL-1.6, Surya OCR 2.5, DeepSeek-OCR 2, FireRed-OCR e dots.ocr.
Respostas verificadas em 2 de nov. de 2026.
Você faz o Falcon OCR? Mostre esta nota no seu site
