dots.ocr의 개요
dots.ocr은 Xiaohongshu의 AI 조직인 rednote hi lab이 2025년 7월 30일 MIT 라이선스로 공개한 오픈 문서 파싱 모델입니다. 비전 언어 모델 하나가 레이아웃 탐지와 읽기를 모두 처리합니다. 각 블록의 바운딩 박스, 범주, 텍스트를 읽기 순서대로 반환하며, 표는 HTML, 수식은 LaTeX, 나머지는 Markdown으로 출력합니다. Hugging Face API 기준 파라미터는 30.4억(3.04 billion)개로, 17억(1.7-billion) 파라미터 언어 모델과 42층 비전 인코더로 구성됩니다.
가중치는 현재 Hugging Face의 dots-studio 조직에, 코드는 GitHub의 studio-dots-ai에 있으며, 마지막 커밋은 2026년 3월 24일입니다. 2025년 10월 31일에는 base 체크포인트가 나왔고, 2026년 3월에는 같은 크기의 후속 모델 dots.mocr을 공개했습니다. dots.mocr은 차트와 그림도 SVG로 변환합니다.
dots.ocr, 쓸 만한 가치가 있습니까?
dots.ocr은 출시 당시 강력한 파서였고, 지금은 중간 수준입니다. 모델 카드는 olmOCR-bench 79.1, 원래 OmniDocBench의 영어 표 TEDS 88.6을 보고하며, 당시 MinerU, Marker, Gemini 2.5 Pro보다 앞섰습니다. 이는 만든 팀의 수치입니다. 일부는 MonkeyOCR과 olmOCR 프로젝트에서 가져왔고 일부는 내부 실행 결과이며, 채점 전에 페이지 머리말과 꼬리말을 제거했습니다.
이후 더 새로운 경쟁 모델들이 다시 돌려 보고 더 낮게 평가했습니다. FireRedTeam의 비교에서는 OmniDocBench v1.5 88.41로 DeepSeek-OCR 2의 91.09, PaddleOCR-VL의 92.86에 뒤지며, PubTabNet 표에서는 71.0입니다. 까다로운 실제 페이지로 구성된 FireRedBench에서는 72.93입니다. 결과에 이해관계가 있는 경쟁사의 수치지만, 방향은 일 치합니다.
두드러진 강점은 언어 범위입니다. 자체 dots.ocr-bench는 100개 언어의 PDF 1,493페이지를 다루며, 팀은 여기서 전체 편집 거리 0.177을 보고했습니다. Gemini 2.5 Pro는 0.251입니다. 같은 보고서에서 레이아웃 탐지는 F1 0.831로 DocLayout-YOLO의 0.733을 앞섭니다. 독립적인 다국어 테스트는 없으므로, 이 주장은 만든 팀이 직접 구축한 벤치마크에 기대고 있습니다.
운영 측면은 세월을 잘 견디지 못했습니다. vLLM으로 서빙하려면 모델을 등록하도록 sed로 vllm 실행기를 패치하고, 마침표가 없는 디렉터리에 가중치를 저장하고, trust_remote_code를 켜야 합니다. 카드 자체의 평가는 vLLM 0.9.1을 썼습니다. 한계 항목은 말줄임표나 밑줄이 연달아 나오면 출력이 끝없이 반복될 수 있고, 그림은 파싱하지 않으며, 대량 PDF 작업에 최적화돼 있지 않다고 경고합니다. 같은 팀이 2026년 3월 같은 크기로 내놓은 dots.mocr은 그림 문제를 해결했고, TII의 Falcon OCR 비교에서 olmOCR-bench 84.0을 기록했습니다.
제 역할을 하는 곳
수십 개 언어의 스캔 매뉴얼을 처리하는 현지화 업체
저자원 문자 체계 문서에서 레이아웃 위치와 함께 텍스트 추출
레이아웃 프롬프트는 한 번의 호출로 박스, 범주, 텍스트를 읽기 순서대로 반환합니다. 다국어 선두는 팀 자체의 1,493페이지 벤치마크에서 측정한 것이므로, 먼저 자사 언어 샘플로 검증해야 합니다.
dots.ocr 파이프라인을 이미 운영 중인 ML 엔지니어
유지할지 이전할지 결정
프롬프트와 출력 스키마는 안정적입니다. 다만 같은 팀의 dots.mocr이 같은 크기에 차트와 그림 파싱을 더했습니다. 평판만 보고 바꾸기보다 자사 페이지로 나란히 돌려 보는 편이 비용이 적게 듭니다.
레이아웃 탐지 기준선을 만드는 문서 AI 연구자
VLM 레이아웃 탐지기와 YOLO 계열 탐지기 비교
탐지 전용 프롬프트는 팀 벤치마크에서 F1 0.845로, DocLayout-YOLO의 0.733보다 높게 보고됐습니다. MIT 가중치는 라이선스 문제 없이 파인튜닝할 수 있습니다.
도입 전 확인할 점
- 설정
- Python 3.12, CUDA 12.8 위의 torch 2.7.0, GitHub 저장소에서 pip install -e . 실행 후 다운로드 스크립트를 돌립니다. 또는 공식 vLLM 이미지 기반의 rednotehilab/dots.ocr Docker 이미지를 씁니다.
- 연동
- 실행기 패치 후 OpenAI 방식 API를 제공하는 vLLM 서버, flash-attention 2를 쓰는 Transformers. 전체 레이아웃 파싱, 탐지 전용, 일반 OCR, 박스 지정 grounded OCR 프롬프트 모드가 있습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 문서가 자기 하드웨어에 남습니다. MIT는 모든 용도를 허용합니다. 로딩 시 모델 저장소의 Python 코드가 실행됩니다.
- 대규모 사용 시 비용
- 가중치는 무료이고, 30.4억(3.04 billion) 파라미터 기준 BF16으로 약 6 GB입니다. 팀은 처리량 수치를 공개하지 않으며, 모델이 아직 대량 PDF 처리에 최적화되지 않았다고 밝힙니다.
- 제한
- 이미지당 11,289,600픽셀 이하에서 가장 좋습니다. 200 DPI 렌더링을 권장합니다. 특수 문자가 반복되면 끝없는 출력이 생길 수 있습니다. 그림은 건너뜁니다. 2025년 10월 31일 이후 가중치 업데이트가 없습니다.
좋은 점
- 모델 하나로 레이아웃 박스, 범주, 텍스트를 얻습니다
- 100개 언어 자체 벤치마크에서 다국어 선두로 보고됐습니다
- MIT 라이선스
- 최근 30일 Hugging Face 다운로드 422,506회
아쉬운 점
- 벤치마크는 자체 보고이며, 외부 재실행에서는 더 새로운 모델에 뒤집니다
- 같은 팀의 dots.mocr로 대체됐습니다
- vLLM 설정에 sed 패치와 trust_remote_code가 필요합니다
- 말줄임표와 밑줄에서 반복에 빠질 수 있고, 그림은 파싱하지 않습니다
추천 대상
기존 dots.ocr 파이프라인이 있는 팀, 또는 MIT 라이선스 단일 모델로 저자원 언어의 바운딩 박스와 읽기 순서가 필요한 팀.
dots.ocr 대안
dots.ocr: 자주 묻는 질문
- dots.ocr, 쓸 만한 가치가 있습니까?
- 2025년 단일 모델 레이아웃 파싱을 믿을 만한 방식으로 만들었습니다. 하지만 2026년 말 현재는 만든 팀이 이미 교체한 버전입니다. 평점은 5점 만점에 3.6점입니다.
- dots.ocr의 가격은 얼마입니까?
- MIT 라이선스로 무료입니다. 자사 호스팅 API는 없습니다.
- dots.ocr의 단점은 무엇입니까?
- 벤치마크는 자체 보고이며, 외부 재실행에서는 더 새로운 모델에 뒤집니다; 같은 팀의 dots.mocr로 대체됐습니다; vLLM 설정에 sed 패치와 trust_remote_code가 필요합니다; 말줄임표와 밑줄에서 반복에 빠질 수 있고, 그림은 파싱하지 않습니다.
- dots.ocr에 적합한 사람은 누구입니까?
- 기존 dots.ocr 파이프라인이 있는 팀, 또는 MIT 라이선스 단일 모델로 저자원 언어의 바운딩 박스와 읽기 순서가 필요한 팀.
- 팀이나 프로덕션 환경에서 dots.ocr의 비용은 얼마입니까?
- 가중치는 무료이고, 30.4억(3.04 billion) 파라미터 기준 BF16으로 약 6 GB입니다. 팀은 처리량 수치를 공개하지 않으며, 모델이 아직 대량 PDF 처리에 최적화되지 않았다고 밝힙니다.
- dots.ocr에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 문서가 자기 하드웨어에 남습니다. MIT는 모든 용도를 허용합니다. 로딩 시 모델 저장소의 Python 코드가 실행됩니다.
- dots.ocr의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 PaddleOCR-VL-1.6, DeepSeek-OCR 2, FireRed-OCR 및 Falcon OCR입니다.
답변 확인일: 2026년 11월 2일.