MiniCPM-o 4.5의 개요
MiniCPM-o 4.5는 OpenBMB가 2026년 2월에 공개한 오픈 옴니 모델입니다. SigLIP2 비전 인코더, Whisper-medium 오디오 인코더, CosyVoice2 음성 디코더, Qwen3-8B 언어 모델이라는 기존 부품 네 개를 엔드투엔드로 연결했으며 전체 파라미터는 약 90억 개입니다. 최대 180만 픽셀 이미지와 초당 최대 10프레임 동영상을 읽고, 음성을 듣고, 텍스트나 짧은 참조 클립으로 복제할 수 있는 목소리로 답합니다.
핵심 기능은 전이중입니다. 말하는 동안에도 영상과 음성을 계속 받아들이므로 중간에 끼어들 수 있고, 1초에 한 번씩 먼저 말을 꺼낼지 판단해 보이는 장면에 대한 알림 같은 말을 합니다. 음성 대화는 영어와 중국어를 지원합니다. 체크포인트 하나에 instruct 모드와 사고 모드가 함께 들어 있습니다.
가중치는 Apache 2.0입니다. 최근 30일 동안 Hugging Face 다운로드는 약 191,000회였습니다. OpenBMB가 10월에 공개한 비전 전용 MiniCPM-V 4.7과는 다른 계열입니다.
MiniCPM-o 4.5, 쓸 만한 가치가 있습니까?
MiniCPM-o 4.5는 실시간 음성, 동영상, 비전을 하나의 오픈 9B 모델에 담았고, 비전 점수는 폐쇄형 모델과 견주어도 밀리지 않습니다. OpenBMB의 모델 카드에 따르면 OpenCompass의 비전 테스트 8개에서 평균 77.6으로 GPT-4o의 75.4, Qwen3-VL-8B의 76.5를 앞서고 Gemini 2.5 Flash의 78.5에 조금 못 미칩니다. MMBench 영어 87.6, MathVista 80.1, DocVQA 94.7을 기록했고, OpenBMB는 OmniDocBench 영어 문서 파싱에서 엔드투엔드 최고 점수라고 주장합니다. 모두 자체 발표 수치입니다.
속도 표를 보면 로컬 사용에 맞는 이유를 알 수 있습니다. BF16에서는 GPU 메모리 19.0 GB로 초당 154.3토큰을 디코딩하며 첫 토큰까지 0.6초가 걸립니다. int4에 서는 11.0 GB로 초당 212.3토큰입니다. 가장 가까운 오픈 경쟁 모델인 Qwen3-Omni-30B-A3B는 같은 테스트에서 BF16으로는 메모리가 부족했고 int4에서 20.3 GB가 필요했습니다. 텍스트 능력도 9B 모델치고 탄탄해 MMLU 77.0, HumanEval 86.6, GSM8K 94.5입니다.
한계는 음성 쪽에 있습니다. 음성 대화는 영어와 중국어만 지원하며, 텍스트는 30개 이상 언어에서 작동합니다. 실시간 웹 데모 전체를 돌리려면 최소 28 GB NVIDIA GPU가 필요하고, 더 저렴한 llama.cpp-omni 경로도 전이중에는 24 GB Apple M4 Max나 12 GB GPU가 필요합니다. 참조 클립으로 목소리를 복제하는 기능이 내장되어 있어 제품에는 유용하지만, 동의 문제는 직접 관리해야 합니다.
모델 카드의 문구와 달리 휴대폰 크기의 비서는 아닙니다. 데스크톱이나 단일 GPU용 모델이며, 이미지와 문서 읽기만 필요하다면 더 새로운 MiniCPM-V 4.7이 더 나은 선택입니다.
제 역할을 하는 곳
직원 10명 규모 가정용 비서 스타트업의 로보틱스 엔지니어
방을 보고 말하는 도중에도 끼어들 수 있는 목소리를 시제품에 넣고 싶다
llama.cpp-omni로 12 GB GPU에서 int4 빌드를 돌리고 카메라와 마이크 입력을 스트리밍합니다. OpenBMB 측정치는 11.0 GB, 첫 토큰까지 0.6초이며, 1 Hz로 말할지 기다릴지 판단하므로 요청 없이도 알림을 줄 수 있습니다.
중국어 과외 앱의 프로덕트 매니저
카메라로 학생의 학습지를 읽는 음성 튜터를 시제품으로 만들고 싶다
목소리를 설정할 수 있는 이중 언어 음성 모드를 쓰고 최대 180만 픽셀의 학습지 사진을 넘깁니다. MathVista 80.1은 수학 숙제에 맞습니다. 웹 데모 전체에는 28 GB GPU를 예상하세요.
물류 회사의 운영 분석가
클라우드 API 없이 스캔한 영어 배송 전표에서 항목을 뽑고 싶다
24 GB 카드에서 vLLM으로 BF16 모델을 띄우고 구조화된 출력을 요청합니다. DocVQA 94.7과 OmniDocBench 주장은 자체 발표이므로, 믿기 전에 추출 결과 일부를 확인하세요.
도입 전 확인할 점
- 설정
- 전체 정밀도로는 NVIDIA GPU에서 transformers로 불러오고, GGUF와 int4 빌드는 llama.cpp, llama.cpp-omni, Ollama에서 씁니다. OpenBMB는 Mac에서 전이중 웹 데모를 돌리는 Docker 이미지를 제공합니다.
- 연동
- 서빙에는 vLLM과 SGLang, CPU와 Mac에는 llama.cpp와 Ollama, 다른 AI 칩에는 FlagOS. 웹 데모는 다른 앱의 API 백엔드로도 쓸 수 있습니다.
- 데이터와 개인정보
- 자체 호스팅이므로 카메라, 마이크, 문서가 자신의 하드웨어에 남습니다. Apache 2.0은 상업적 사용과 수정을 허용합니다. 참조 오디오로 목소리를 복제하는 기능이 내장되어 있습니다.
- 대규모 사용 시 비용
- 가중치는 무료입니다. OpenBMB 표 기준으로 BF16에서 GPU 메모리 19.0 GB, int4에서 11.0 GB를 잡으세요. 호스팅 토큰 단가는 공개되지 않았습니다.
- 제한
- 음성 대화는 영어와 중국어만 지원합니다. 메인 웹 데모의 반이중 음성은 아직 개발 중입니다. 컨텍스트 길이는 모델 카드에 나와 있지 않습니다.
좋은 점
- 전이중 영상, 오디오, 음성을 하나의 9B 모델에서
- OpenCompass 평균 77.6으로 GPT-4o 상회(자체 발표)
- int4에서 11.0 GB, 초당 212.3토큰
- llama.cpp와 Ollama 빌드가 있는 Apache 2.0 가중치
아쉬운 점
- 음성 대화는 영어와 중국어만
- 실시간 데모 전체에는 28 GB GPU 필요
- 음성 복제는 직접 처리해야 할 동의 문제를 낳음
- 문서 작업에는 비전 전용 MiniCPM-V 4.7이 더 새로움
추천 대상
GPU 한 장이나 고사양 Mac에서 영어 또는 중국어로 사적인 로컬 음성·카메라 비서를 만드는 개발자.
MiniCPM-o 4.5 대안
MiniCPM-o 4.5: 자주 묻는 질문
- MiniCPM-o 4.5, 쓸 만한 가치가 있습니까?
- 영어나 중국어로 충분하다면, 실시간으로 보고 말하는 로컬 비서를 만들 때 출발점으로 삼을 오픈 모델입니다. 평점은 5점 만점에 4.1점입니다.
- MiniCPM-o 4.5의 가격은 얼마입니까?
- Apache 2.0 가중치는 무료입니다. 자체 호스팅 서비스 가격은 공개되지 않았으며, 비용은 자체 하드웨어 비용입니다.
- MiniCPM-o 4.5의 단점은 무엇입니까?
- 음성 대화는 영어와 중국어만; 실시간 데모 전체에는 28 GB GPU 필요; 음성 복제는 직접 처리해야 할 동의 문제를 낳음; 문서 작업에는 비전 전용 MiniCPM-V 4.7이 더 새로움.
- MiniCPM-o 4.5에 적합한 사람은 누구입니까?
- GPU 한 장이나 고사양 Mac에서 영어 또는 중국어로 사적인 로컬 음성·카메라 비서를 만드는 개발자.
- 팀이나 프로덕션 환경에서 MiniCPM-o 4.5의 비용은 얼마입니까?
- 가중치는 무료입니다. OpenBMB 표 기준으로 BF16에서 GPU 메모리 19.0 GB, int4에서 11.0 GB를 잡으세요. 호스팅 토큰 단가는 공개되지 않았습니다.
- MiniCPM-o 4.5에 회사 데이터를 맡겨도 안전합니까?
- 자체 호스팅이므로 카메라, 마이크, 문서가 자신의 하드웨어에 남습니다. Apache 2.0은 상업적 사용과 수정을 허용합니다. 참조 오디오로 목소리를 복제하는 기능이 내장되어 있습니다.
- MiniCPM-o 4.5의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 MiniCPM-V 4.7 (35B-A3B and 1B), Gemma 4, Phi-4-multimodal 및 LFM3입니다.
답변 확인일: 2026년 11월 7일.
MiniCPM-o 4.5 개발사입니까? 이 평점을 사이트에 표시하십시오
