Qianfan-OCR의 개요
Qianfan-OCR은 Baidu Qianfan 팀의 문서 모델로, 2026년 3월 Apache 2.0으로 공개되었고 기술 보고서는 3월 11일에 나왔습니다. Baidu의 Qianfan-ViT 비전 인코더와 Qwen3-4B 언어 모델을 결합해 전체 파라미터는 47억 4,000만(4.74 billion) 개이며, 별도의 레이아웃 모델 없이 페이지 이미지를 곧바로 Markdown으로 바꿉니다. 같은 가중치로 표와 수식 인식, 핵심 정보 추출, 차트와 문서 질의응답, 192개 언어 OCR을 처리합니다.
두드러진 기능은 Layout-as-Thought입니다. thinking을 켜면 모델이 먼저 바운딩 박스, 25개 범주의 요소 유형, 읽기 순서를 적은 뒤 최종 텍스트를 씁니다. 그래서 파이프라인 시스템이 검출기에서 얻는 레이아웃 데이터를 모델 하나가 돌려줍니다.
다른 Baidu 팀이 만든 PaddleOCR-VL, Unlimited-OCR과는 별개 계열입니다. Hugging Face에서 최근 한 달 다운로드는 34,433회, 좋아요는 1,217개입니다.
Qianfan-OCR, 쓸 만한 가치가 있습니까?
Qianfan-OCR은 페이지 파싱 정확도를 내주고 범위를 얻었으며, 그 거래는 독립 수치에서 분명히 드러납니다. OpenDataLab의 OmniDocBench v1.6 순위표에서 93.90으로, GLM-OCR의 95.22와 OvisOCR2의 96.47에 뒤처집니다. 두 모델 모두 크기는 3분의 1도 안 됩니다. Baidu가 내세운 93.12와 엔드투엔드 모델 중 1위는 이전 버전인 v1.5 기준이며, Baidu 자체 표에서도 파이프라인 기반 PaddleOCR-VL 1.5가 94.50으로 앞서 있습니다.
앞서는 영역은 파싱 다음 단계의 작업입니다. Baidu는 핵심 정보 추출 벤치마크 5개에서 평균 87.9를 보고하며, Qwen3-VL-235B-A22B는 84.2, Gemini-3.1-Pro는 79.2입니다. CharXiv 추론 문항에서는 85.2로, Qwen3-VL-4B의 48.5와 비교됩니다. OCRBench에서는 880점이고 192개 언어를 지원해, PaddleOCR-VL-1.6의 109개, GLM-OCR의 8개와 대비됩니다. 모두 자체 보고 수치이지만, 비교 대상은 문서에 맞춰 조정되지 않은 범용 모델입니다.
Layout-as-Thought는 공짜 이득이 아니라 쓸모 있는 기능입니다. Baidu 자체 수치에서 thinking 모드는 OmniDocBench v1.5 종합 점수를 93.12에서 92.64로 낮추며, Baidu도 시험지나 신문 같은 혼합 페이지에서만 켜라고 안내합니다. 가치는 더 나은 텍스트가 아니라, 검출기를 돌리지 않고 박스와 읽기 순서를 얻는 데 있습니다.
주된 비용은 크기입니다. 47억 4,000만(4.74 billion) 파라미터로 A100 1장에서 초당 1.024페이지를 내려면 W8A8 양자화가 필요하고, 전체 정밀도에서는 0.503입니다. 같은 표에서 MinerU 2.5는 1.057입니다. Baidu의 한계 항목은 이 크기 때문에 엣지 기기와 CPU 전용 서버에서는 쓸 수 없다고 밝히며, 영상, 곡선 텍스트, 장식적인 손글씨를 약점으로 꼽습니다.
결론: Qianfan-OCR은 출력이 보관이 아니라 결정으로 이어질 때, 예를 들어 청구서 합계나 차트 추세를 읽을 때 제 몫을 합니다. 깔끔한 Markdown만 필요한 팀은 GLM-OCR이나 PaddleOCR-VL-1.6에서 GPU당 더 높은 정확도를 얻습니다.
제 역할을 하는 곳
십여 개 언어로 청구서를 받는 다국적 기업의 매입채무 팀
별도 OCR 단계 없이 청구서에서 공급업체, 합계, 세금 필드 추출
vLLM 서버에서 페이지 이미지를 주고 필드를 직접 요청합니다. Baidu는 Nanonets KIE에서 86.5 F1을 보고합니다. 여기서는 Markdown 점수보다 192개 언어 지원이 더 중요합니다.
증권사 리포트를 처리하는 주식 리서치 애널리스트의 데이터 팀
텍스트 전용 OCR이 버리는 차트 수치와 추세 읽기
페이지 이미지를 대상으로 차트 질문을 합니다. Baidu에 따르면 OCR 후 LLM을 쓰는 시스템은 차트 구조가 사라져 CharXiv에서 0.0점을 받습니다. Qianfan-OCR은 서술형 문항에서 94.0을 보고합니다.
레이아웃 검출기와 인식기 스택을 대체하려는 문서 AI 엔지니어
모델 하나로 바운딩 박스, 요소 유형, 읽기 순서 얻기
시험지 같은 혼합 페이지에서는 thinking을 켜서 레이아웃 출력을 먼저 받고, 단일 단 문서에서는 끕니다. Baidu에 따르면 그쪽이 결과도 더 좋고 더 빠릅니다.
도입 전 확인할 점
- 설정
- Transformers의 AutoModelForImageTextToText로 baidu/Qianfan-OCR을 BF16으로 불러오거나, --trust-remote-code와 InternVLChatModel 아키텍처로 매핑하는 hf-overrides 플래그를 붙여 vllm serve를 실행합니다.
- 연동
- Transformers와 vLLM. llama.cpp용 커뮤니티 GGUF 빌드와 Apple silicon용 MLX. Baidu AI Cloud의 Qianfan 플랫폼. Baidu skills 저장소의 에이전트 스킬.
- 데이터와 개인정보
- Apache 2.0이며, 동봉된 일부 소스 파일은 MIT입니다. 자체 호스팅하면 문서가 자신의 하드웨어에 머뭅니다. Qianfan 플랫폼의 보관 조건은 모델 카드에 적혀 있지 않습니다.
- 대규모 사용 시 비용
- BF16 체크포인트는 약 9.5 GB입니다. Baidu는 A100 1장에서 W8A8로 초당 1.024페이지, W16A16으로 0.503페이지를 보고합니다. 카드 1장당 시간당 약 3,700페이지와 1,800페이지입니다.
- 제한
- 시각 입력은 448픽셀 타일로 이미지당 최대 4,096토큰이고, 기본 컨텍스트는 32K입니다. Layout-as-Thought는 OmniDocBench v1.5 파싱에서만 검증되었고 추출이나 질의응답에서는 검증되지 않았습니다. 엣지 기기나 CPU 전용 서버에는 너무 큽니다.
좋은 점
- 핵심 정보 추출 벤치마크 5개 평균 87.9(자체 보고)
- 같은 모델에서 차트와 문서 질의응답
- 별도 검출기 없이 25개 요소 유형의 레이아웃 출력 선택 가능
- 192개 언어 OCR, Apache 2.0
아쉬운 점
- OmniDocBench v1.6에서 93.90으로 훨씬 작은 파서들에 뒤처짐
- 4.74B 파라미터, A100에서 초당 약 1페이지는 양자화했을 때만 가능
- thinking 모드는 종합 파싱 점수를 낮춤
- vLLM에서 아키텍처 재정의가 필요하고 호스팅 가격 미공개
추천 대상
필드 추출, 차트 판독, 다국어 OCR을 자체 호스팅 모델 하나로 처리해야 하고 데이터센터 GPU를 내줄 수 있는 팀.
Qianfan-OCR 대안
Qianfan-OCR: 자주 묻는 질문
- Qianfan-OCR, 쓸 만한 가치가 있습니까?
- Qianfan-OCR은 페이지를 한 번의 호출로 읽고 이해해야 할 때 고를 모델입니다. 단순히 Markdown으로 변환하는 일에는 더 작은 파서가 더 정확합니다. 평점은 5점 만점에 4.0점입니다.
- Qianfan-OCR의 가격은 얼마입니까?
- Apache 2.0으로 무료입니다. Baidu AI Cloud의 Qianfan 플랫폼에서도 제공되지만, 모델 카드에 호스팅 가격은 적혀 있지 않습니다.
- Qianfan-OCR의 단점은 무엇입니까?
- OmniDocBench v1.6에서 93.90으로 훨씬 작은 파서들에 뒤처짐; 4.74B 파라미터, A100에서 초당 약 1페이지는 양자화했을 때만 가능; thinking 모드는 종합 파싱 점수를 낮춤; vLLM에서 아키텍처 재정의가 필요하고 호스팅 가격 미공개.
- Qianfan-OCR에 적합한 사람은 누구입니까?
- 필드 추출, 차트 판독, 다국어 OCR을 자체 호스팅 모델 하나로 처리해야 하고 데이터센터 GPU를 내줄 수 있는 팀.
- 팀이나 프로덕션 환경에서 Qianfan-OCR의 비용은 얼마입니까?
- BF16 체크포인트는 약 9.5 GB입니다. Baidu는 A100 1장에서 W8A8로 초당 1.024페이지, W16A16으로 0.503페이지를 보고합니다. 카드 1장당 시간당 약 3,700페이지와 1,800페이지입니다.
- Qianfan-OCR에 회사 데이터를 맡겨도 안전합니까?
- Apache 2.0이며, 동봉된 일부 소스 파일은 MIT입니다. 자체 호스팅하면 문서가 자신의 하드웨어에 머뭅니다. Qianfan 플랫폼의 보관 조건은 모델 카드에 적혀 있지 않습니다.
- Qianfan-OCR의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 GLM-OCR, PaddleOCR-VL-1.6, Unlimited-OCR 2 및 Infinity-Parser2-Flash입니다.
답변 확인일: 2026년 11월 2일.
Qianfan-OCR 개발사입니까? 이 평점을 사이트에 표시하십시오
