OvisOCR3의 개요
OvisOCR3는 Alibaba Group 내부 팀인 ATH-MaaS가 만든 8억 파라미터 OCR 및 문서 모델로, 기술 보고서가 나온 다음 날인 2026년 10월 21일 Apache 2.0으로 공개됐습니다. OvisOCR2처럼 Qwen3.5-0.8B를 후속 학습한 모델이며, 앞단에 별도의 레이아웃 모델 없이 페이지 이미지를 한 번에 읽습니다. 현재 OvisOCR2의 모델 카드는 이를 새 버전으로 안내합니다.
달라진 것은 범위입니다. OvisOCR2는 페이지를 Markdown으로 바꾸는 한 가지 일만 했습니다. OvisOCR3는 모든 영역에 바운딩 박스와 범주를 붙이는 구조화 JSON 파싱, 레이아웃 전용 감지, 일반 OCR 프롬프트 열 가지(일반 텍스트와 단어 박스부터 수식, 차트 데이터, 번역, 시각 질의응답까지), 세 가지 방식의 핵심 정보 추출, 순서도용 Mermaid 코드를 포함한 그림 캡션, 페이지 넘김으로 나뉜 표를 이어 붙이는 2페이지 모드를 더했습니다. 각 작업은 가중치와 함께 배포되는 프롬프트 파일로 선택합니다.
학습도 이에 맞춰 바뀌었습니다. 첫 단계에는 약 7,200만(72 million) 개 예제를 썼고, 샘플링 예산의 57%를 문서 파싱에, 29%를 일반 OCR에 배정했습니다. 이어 작업 계열마다 하나씩 다섯 개의 4B 교사 모델을 0.8B 학생 모델로 증류했고, 다섯 작업 전체에 걸쳐 동시에 강화학습을 진행했습니다.
OvisOCR3, 쓸 만한 가치가 있습니까?
개발사가 공개한 모든 수치에서 OvisOCR3는 OvisOCR2보다 낫지만, 그중 어느 수치도 다른 누군가가 확인하지 않았습니다. 모델 카드는 OmniDocBench v1.6에서 96.74를 보고하며, OvisOCR2의 자체 보고치 96.58보다 0.16포인트 높습니다. 이는 OpenDataLab이 OvisOCR2를 직접 돌렸을 때 깎인 0.11보다 조금 큰 정도입니다. 9월 11일에 마지막으로 갱신된 OpenDataLab 리더보드에는 OvisOCR3가 없고, 이 벤치마크에서는 Alibaba 자체 표에서도 Xiaomi-OCR-0이 96.83으로 근소하게 앞섭니다.
더 큰 향상은 어려운 페이지에서 나옵니다. 같은 페이지를 깨끗한 상태, 디지털 열화 상태, 재촬영 상태로 시험하는 PureDocBench에서 점수는 75.10에서 82.31로 올랐고, 깨끗한 페이지와 재촬영 페이지 사이의 하락폭은 15.04포인트에서 7.84포인트로 거의 절반이 됐습니다. 17개 언어 범주, 2,720장의 이미지로 된 MDPBench에서는 69.00에서 88.80으로 올랐고, 보고서는 라틴 문자와 비라틴 문자 사이의 격차가 23.7포인트에서 1.5포인트로 줄었다고 밝힙니다. 공개 벤치마크이지만 OvisOCR3를 돌린 것은 Alibaba 자신입니다.
증거가 가장 약한 부분은 새 작업입니다. 필드 추출은 OCRBench의 KIE 하위 세트에서 90.50, CC-OCR에서 88.69를 기록했고, 후자는 Qwen3.5-OCR보다 0.26 높을 뿐입니다. 페이지 간 표는 관계 F1 97.07로 MinerU2.5-Pro의 59.14를 앞서지만, 이는 페이지 쌍 890개로 된 자체 세트 CrossTabBench에서의 결과입니다. 공개 벤치마크인 MPDocBench-Parse에서는 92.04 대 91.87입니다. 그림 캡션은 참조 캡션을 비전 모델이 초안 작성한 182페이지짜리 또 다른 자체 세트로 채점했습니다. AI Weekly는 보고서가 4B 교사 모델 대비 추론 지연 시간을 공개하지 않고, 증류와 강화학습 단계가 각각 얼마나 기여했는지도 구분하지 않는다고 지적합니다.
배포 면에서는 OvisOCR2 이후 달라진 것이 없습니다. 모델 카드에는 0.22.1로 고정된 vLLM 레시피 하나뿐이고 처리량 수치는 없습니다. Markdown 출력에는 여전히 반복되는 끝부분을 정리하는 함수가 필요 하고, 추출 JSON은 강제되지 않고 프롬프트로만 유도되므로 검증이 필요합니다. 모델 카드는 생성된 HTML과 Mermaid를 렌더링하기 전에 정제하라고 요청합니다. 커뮤니티 빌드는 빠르게 나왔습니다. mradermacher의 GGUF 변환본은 다운로드 7,007회로, 원본 가중치의 4,972회보다 많습니다.
결론: 이미 OvisOCR2를 쓰고 있다면 이것은 마이그레이션이 아니라 프롬프트가 늘어난 가중치 교체이며, 추출 모드와 페이지 간 모드 덕분에 모델 하나로 두세 개를 대신할 수도 있습니다. 정확도만 보고 파서를 처음 고르는 팀이라면 OvisOCR3의 수치가 Alibaba가 관리하지 않는 표에 오를 때까지는 GLM-OCR이나 PaddleOCR-VL-1.6이 낫습니다.
제 역할을 하는 곳
여러 언어로 된 공급업체 송장을 받는 중견 유통업체의 매입 채무 엔지니어
두 번째 모델 없이 송장 번호, 날짜, 판매자, 품목을 JSON으로 추출
모델 카드의 송장 예시처럼 각 페이지를 스키마 기반 추출 프롬프트와 JSON 템플릿과 함께 보내고, 전기하기 전에 JSON을 검증합니다. Alibaba는 자체 KIE 세트에서 77.73으로 GLM-OCR의 75.25를 앞섰다고 보고합니다. 먼저 자사 공급업체 문서로 정확도를 확인합니다.
연차 보고서를 파싱하는 투자 리서치 회사의 데이터 팀
페이지 경계에서 나뉜 재무표를 하나의 HTML 표로 재 구성
구조화 프롬프트로 각 페이지를 파싱한 뒤, 인접 페이지에 모델 카드의 document_crosspage.py를 실행합니다. 이 스크립트는 끝에서부터 거꾸로 쌍을 병합합니다. 정확도는 첫 번째 파싱과 올바른 페이지 순서에 달려 있으므로 원본 출력을 검토용으로 보관합니다.
비라틴 문자로 된 기록물을 휴대폰 사진으로 작업하는 유럽 아카이브의 디지털화 책임자
사진으로 찍은 비라틴 문자 페이지를 검색 가능한 Markdown으로 변환
GPU 한 장에서 vLLM으로 Markdown 파싱 프롬프트를 실행합니다. 여기서 OvisOCR2보다 이 모델을 고를 가장 강한 이유는 MDPBench 향상이지만, 이는 Alibaba 자체 실행 결과이고 시간당 페이지 수는 공개되지 않았습니다.
도입 전 확인할 점
- 설정
- pip install vllm==0.22.1과 pillow를 설치하고, prompts 폴더가 포함된 저장소를 내려받아 작업마다 프롬프트 파일을 불러옵니다. 채팅 템플릿에서 thinking을 꺼야 하며, 요청당 이미지는 한두 장입니다.
- 연동
- 공식 안내는 vLLM뿐이며, Hugging Face에 커뮤니티 GGUF, MLX, ONNX int4 변환본이 있습니다. 출력은 Markdown, JSON, HTML 표, LaTeX, Mermaid이며, 박스는 0~1,000 격자 기준입니다.
- 데이터와 개인정보
- Apache 2.0으로 상업적 사용과 파인튜닝이 가능합니다. 자체 호스팅이므로 문서가 사용자 하드웨어에 남습니다. 기밀 페이지는 Hugging Face 데모에 올리지 않아야 합니다.
- 대규모 사용 시 비용
- 가중치는 무료이고 safetensors 파일이 약 1.7 GB이므로 GPU 한 장으로 서비스할 수 있습니다. 처리량이나 지연 시간 수치가 공개되지 않아 용량 계획에는 자체 측정이 필요합니다.
- 제한
- 예제 출력은 16,384 토큰으로 제한됩니다. 반복되는 끝부분은 잘라내야 합니다. KIE JSON과 HTML은 검증이 필요합니다. 캡션은 영어만 지원하며 최대 100단어입니다. 모델 카드는 작거나 흐린 텍스트, 빽빽한 레이아웃, 긴 표에서 오류가 생길 수 있다고 경고합니다.
좋은 점
- 0.8B 체크포인트 하나에 다섯 가지 작업 계열, BF16으로 약 1.7 GB
- Alibaba 기준 MDPBench가 OvisOCR2의 69.00에서 88.80으로 상승
- 영역 박스가 포함된 구조화 JSON과 레이아웃 전용 모드
- Apache 2.0, GGUF, MLX, ONNX 커뮤니티 빌드 있음
아쉬운 점
- 아직 OpenDataLab 리더보드에 없으며 모든 점수가 자체 보고
- 페이지 간 표와 캡션 성과는 자체 벤치마크에 근거
- 여전히 vLLM 레시피뿐이며 처리량이나 지연 시간 수치 없음
- Markdown 출력은 여전히 반복 정리가 필요하고 JSON은 강제되지 않음
추천 대상
작은 자체 호스팅 모델 하나로 파싱, 필드 추출, 페이지 간 표를 처리하고 싶고, 자체 문서로 검증할 수 있는 팀.
OvisOCR3 대안
OvisOCR3: 자주 묻는 질문
- OvisOCR3, 쓸 만한 가치가 있습니까?
- OvisOCR3는 OvisOCR2가 한 가지 일에 쓰던 크기로 다섯 가지 문서 작업을 합니다. 발목을 잡는 것은 Alibaba 밖에서 아직 아무도 점수를 매기지 않았다는 점뿐입니다. 평점은 5점 만점에 4.2점입니다.
- OvisOCR3의 가격은 얼마입니까?
- Apache 2.0으로 무료입니다. 호스팅 API는 없으며, Hugging Face Spaces에서 무료 데모가 돌아갑니다.
- OvisOCR3의 단점은 무엇입니까?
- 아직 OpenDataLab 리더보드에 없으며 모든 점수가 자체 보고; 페이지 간 표와 캡션 성과는 자체 벤치마크에 근거; 여전히 vLLM 레시피뿐이며 처리량이나 지연 시간 수치 없음; Markdown 출력은 여전히 반복 정리가 필요하고 JSON은 강제되지 않음.
- OvisOCR3에 적합한 사람은 누구입니까?
- 작은 자체 호스팅 모델 하나로 파싱, 필드 추출, 페이지 간 표를 처리하고 싶고, 자체 문서로 검증할 수 있는 팀.
- 팀이나 프로덕션 환경에서 OvisOCR3의 비용은 얼마입니까?
- 가중치는 무료이고 safetensors 파일이 약 1.7 GB이므로 GPU 한 장으로 서비스할 수 있습니다. 처리량이나 지연 시간 수치가 공개되지 않아 용량 계획에는 자체 측정이 필요합니다.
- OvisOCR3에 회사 데이터를 맡겨도 안전합니까?
- Apache 2.0으로 상업적 사용과 파인튜닝이 가능합니다. 자체 호스팅이므로 문서가 사용자 하드웨어에 남습니다. 기밀 페이지는 Hugging Face 데모에 올리지 않아야 합니다.
- OvisOCR3의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 OvisOCR2, GLM-OCR, PaddleOCR-VL-1.6, Unlimited-OCR 2, LightOnOCR-3-4B 및 MiniCPM-OCR 1.0입니다.
답변 확인일: 2026년 11월 2일.
OvisOCR3 개발사입니까? 이 평점을 사이트에 표시하십시오
