Qu’est-ce que Qianfan-OCR ?
Qianfan-OCR est un modèle documentaire de l'équipe Qianfan de Baidu, sorti en mars 2026 sous Apache 2.0 avec un rapport technique le 11 mars. Il associe l'encodeur visuel Qianfan-ViT de Baidu à un modèle de langage Qwen3-4B, soit 4,74 milliards de paramètres au total, et transforme directement l'image d'une page en Markdown sans modèle de mise en page séparé. Les mêmes poids gèrent la reconnaissance de tableaux et de formules, l'extraction d'informations clés, les questions-réponses sur les graphiques et les documents, et l'OCR dans 192 langues.
Sa particularité est Layout-as-Thought. Avec le thinking activé, le modèle écrit d'abord les boîtes englobantes, les types d'éléments parmi 25 catégories et l'ordre de lecture, puis le texte final, si bien qu'un seul modèle renvoie les données de mise en page que les systèmes en pipeline obtiennent d'un détecteur.
C'est une gamme distincte de PaddleOCR-VL et d'Unlimited-OCR, qui viennent d'autres équipes de Baidu. Sur Hugging Face, il a été téléchargé 34 433 fois le mois dernier et compte 1 217 likes.
Qianfan-OCR vaut-il le coup ?
Qianfan-OCR échange la précision d'analyse des pages contre l'étendue des capacités, et l'échange est net dans les chiffres indépendants. Le classement OmniDocBench v1.6 d'OpenDataLab l'indique à 93,90, derrière GLM-OCR à 95,22 et OvisOCR2 à 96,47, qui font tous deux moins d'un tiers de sa taille. Le chiffre mis en avant par Baidu, 93,12 et la première place parmi les modèles de bout en bout, porte sur l'ancienne v1.5, où son propre tableau montre aussi PaddleOCR-VL 1.5, basé sur un pipeline, devant à 94,50.
Il mène sur le travail qui suit l'analyse. Baidu annonce une moyenne de 87,9 sur cinq benchmarks d'extraction d'informations clés, contre 84,2 pour Qwen3-VL-235B-A22B et 79,2 pour Gemini-3.1-Pro, et 85,2 sur les questions de raisonnement de CharXiv, où Qwen3-VL-4B obtient 48,5. Il obtient 880 sur OCRBench et couvre 192 langues, contre 109 pour PaddleOCR-VL-1.6 et huit pour GLM-OCR. Tout cela est autodéclaré, même si les modèles de comparaison sont généralistes et pas réglés pour les documents.
Layout-as-Thought est utile plutôt qu'un gain gratuit. Les propres chiffres de Baidu montrent que le mode thinking fait baisser le total sur OmniDocBench v1.5 de 93,12 à 92,64, et sa recommandation est de ne l'activer que pour les pages composites comme les sujets d'examen et les journaux. Son intérêt est d'obtenir boîtes et ordre de lecture sans faire tourner de détecteur, pas un meilleur texte.
La taille est le principal coût. Avec 4,74 milliards de paramètres, il n'atteint 1,024 page par seconde sur un A100 qu'avec une quantification W8A8, et 0,503 en pleine précision, alors que MinerU 2.5 atteint 1,057 dans le même tableau. La section des limites de Baidu indique que son empreinte exclut les appareils embarqués et les serveurs sans GPU, et cite la vidéo, le texte courbe et l'écriture manuscrite stylisée comme points faibles.
Notre avis : Qianfan-OCR mérite sa place quand la sortie alimente une décision, comme lire le total d'une facture ou la tendance d'un graphique, plutôt qu'une archive. Les équipes qui n'ont besoin que d'un Markdown propre obtiendront plus de précision par GPU avec GLM-OCR ou PaddleOCR-VL-1.6.
Là où il fait la différence
Une équipe comptabilité fournisseurs dans une multinationale qui reçoit des factures dans une douzaine de langues
Extraire fournisseur, total et champs de taxes des factures sans étape d'OCR séparée
Demandez directement les champs au modèle à partir de l'image de la page sur un serveur vLLM. Baidu annonce 86,5 de F1 sur Nanonets KIE ; la couverture de 192 langues compte ici davantage que le score Markdown.
L'équipe data d'un analyste actions qui traite des rapports de courtiers
Lire les valeurs et les tendances des graphiques que l'OCR purement textuel laisse de côté
Posez des questions sur les graphiques à partir de l'image de la page. Baidu note que les systèmes OCR-puis-LLM obtiennent 0,0 sur CharXiv parce que la structure du graphique est perdue ; Qianfan-OCR annonce 94,0 sur les questions descriptives.
Un ingénieur en IA documentaire qui remplace une pile détecteur de mise en page plus reconnaisseur
Obtenir boîtes englobantes, types d'éléments et ordre de lecture avec un seul modèle
Activez le thinking sur les pages composites comme les sujets d'examen pour obtenir d'abord la mise en page, et laissez-le désactivé pour les documents à une colonne, où Baidu indique que les résultats sont meilleurs et plus rapides sans lui.
Avant de vous engager
- Mise en route
- Chargez baidu/Qianfan-OCR avec AutoModelForImageTextToText de Transformers en BF16, ou lancez vllm serve avec --trust-remote-code et une option hf-overrides qui l'associe à l'architecture InternVLChatModel.
- Intégrations
- Transformers et vLLM ; builds communautaires GGUF pour llama.cpp et MLX pour Apple silicon ; la plateforme Qianfan de Baidu AI Cloud ; un skill d'agent dans le dépôt de skills de Baidu.
- Données et confidentialité
- Apache 2.0, avec certains fichiers sources inclus sous MIT. En auto-hébergement, les documents restent sur votre matériel ; les conditions de conservation de la plateforme Qianfan ne sont pas indiquées sur la fiche du modèle.
- Coût à grande échelle
- Le checkpoint BF16 pèse environ 9,5 GB. Baidu annonce 1,024 page par seconde en W8A8 et 0,503 en W16A16 sur un A100, soit environ 3 700 et 1 800 pages par heure et par carte.
- Limites
- Entrée visuelle jusqu'à 4 096 tokens par image en tuiles de 448 pixels ; contexte de 32K par défaut. Layout-as-Thought n'est validé que pour l'analyse sur OmniDocBench v1.5, pas pour l'extraction ni les questions-réponses ; trop gros pour les appareils embarqués ou les serveurs sans GPU.
Les points forts
- Moyenne de 87,9 sur cinq benchmarks d'extraction d'informations clés (autodéclarée)
- Questions-réponses sur les graphiques et les documents dans le même modèle
- Sortie de mise en page facultative avec 25 types d'éléments, sans détecteur séparé
- OCR dans 192 langues ; Apache 2.0
Les points faibles
- 93,90 sur OmniDocBench v1.6, derrière des parseurs bien plus petits
- 4,74B de paramètres ; environ 1 page par seconde sur un A100 seulement une fois quantifié
- Le mode thinking fait baisser le score global d'analyse
- vLLM exige une surcharge d'architecture ; prix hébergé non publié
Idéal pour
Les équipes qui ont besoin de l'extraction de champs, de la lecture de graphiques et de l'OCR multilingue avec un seul modèle auto-hébergé et peuvent y consacrer un GPU de centre de données.
Alternatives à Qianfan-OCR
Qianfan-OCR : questions fréquentes
- Qianfan-OCR vaut-il le coup ?
- Qianfan-OCR est le modèle à choisir quand une page doit être lue et comprise en un seul appel ; pour une simple conversion en Markdown, des parseurs plus petits sont plus précis. Nous lui donnons 4.0 sur 5.
- Combien coûte Qianfan-OCR ?
- Gratuit sous Apache 2.0. Également proposé sur la plateforme Qianfan de Baidu AI Cloud ; le prix hébergé n'est pas indiqué sur la fiche du modèle.
- Quels sont les inconvénients de Qianfan-OCR ?
- 93,90 sur OmniDocBench v1.6, derrière des parseurs bien plus petits; 4,74B de paramètres ; environ 1 page par seconde sur un A100 seulement une fois quantifié; le mode thinking fait baisser le score global d'analyse; vLLM exige une surcharge d'architecture ; prix hébergé non publié.
- À qui s’adresse Qianfan-OCR ?
- Les équipes qui ont besoin de l'extraction de champs, de la lecture de graphiques et de l'OCR multilingue avec un seul modèle auto-hébergé et peuvent y consacrer un GPU de centre de données.
- Combien coûte Qianfan-OCR pour une équipe ou en production ?
- Le checkpoint BF16 pèse environ 9,5 GB. Baidu annonce 1,024 page par seconde en W8A8 et 0,503 en W16A16 sur un A100, soit environ 3 700 et 1 800 pages par heure et par carte.
- Qianfan-OCR est-il sûr pour les données de l’entreprise ?
- Apache 2.0, avec certains fichiers sources inclus sous MIT. En auto-hébergement, les documents restent sur votre matériel ; les conditions de conservation de la plateforme Qianfan ne sont pas indiquées sur la fiche du modèle.
- Quelles sont les meilleures alternatives à Qianfan-OCR ?
- Les alternatives les plus proches que nous avons testées sont GLM-OCR, PaddleOCR-VL-1.6, Unlimited-OCR 2 et Infinity-Parser2-Flash.
Réponses vérifiées le 2 nov. 2026.
Vous éditez Qianfan-OCR ? Affichez cette note sur votre site
