Qu’est-ce que MiniCPM-o 4.5 ?
MiniCPM-o 4.5 est le modèle omni ouvert d'OpenBMB, publié en février 2026. Il relie de bout en bout quatre briques existantes : un encodeur visuel SigLIP2, un encodeur audio Whisper-medium, un décodeur vocal CosyVoice2 et le modèle de langage Qwen3-8B, soit environ 9 milliards de paramètres au total. Il lit des images jusqu'à 1,8 million de pixels et de la vidéo jusqu'à 10 images par seconde, entend la parole et répond en texte ou d'une voix parlée qui peut être clonée à partir d'un court extrait de référence.
Sa fonction phare est le duplex intégral : le modèle reçoit vidéo et audio en continu pendant qu'il parle, on peut donc l'interrompre, et il décide une fois par seconde s'il prend la parole de lui-même, par exemple pour un rappel sur ce qu'il voit. La conversation vocale fonctionne en anglais et en chinois. Un même checkpoint contient un mode instruct et un mode de réflexion.
Les poids sont sous Apache 2.0. Sur les 30 derniers jours, ils ont été téléchargés environ 191 000 fois sur Hugging Face. C'est une gamme distincte de MiniCPM-V 4.7, limité à la vision, qu'OpenBMB a publié en octobre.
MiniCPM-o 4.5 vaut-il le coup ?
MiniCPM-o 4.5 réunit voix en direct, vidéo et vision dans un seul modèle ouvert de 9B, et ses scores en vision tiennent face aux modèles fermés. Selon la fiche d'OpenBMB, il obtient en moyenne 77,6 sur les huit tests de vision d'OpenCompass, devant GPT-4o à 75,4 et Qwen3-VL-8B à 76,5, juste derrière Gemini 2.5 Flash à 78,5. Il atteint 87,6 sur MMBench anglais, 80,1 sur MathVista et 94,7 sur DocVQA, et OpenBMB revendique le meilleur score de bout en bout pour l'analyse de documents en anglais sur OmniDocBench. Tous ces chiffres sont déclarés par l'éditeur.
Le tableau de vitesse explique pourquoi il convient à un usage local. En BF16, il décode 154,3 tokens par seconde avec 0,6 seconde avant le premier token, dans 19,0 Go de mémoire GPU ; en int4, cela passe à 212,3 tokens par seconde dans 11,0 Go. Qwen3-Omni-30B-A3B, son rival ouvert le plus proche, a manqué de mémoire en BF16 sur le même test et a demandé 20,3 Go en int4. Les compétences textuelles tiennent pour un modèle de 9B : 77,0 sur MMLU, 86,6 sur HumanEval et 94,5 sur GSM8K.
Les limites se situent du côté de la voix. La conversation parlée ne couvre que l'anglais et le chinois, même si le texte fonctionne dans plus de 30 langues. La démo web complète en temps réel demande un GPU NVIDIA d'au moins 28 Go, et la voie moins coûteuse, llama.cpp-omni, exige encore un Apple M4 Max avec 24 Go ou un GPU de 12 Go pour le duplex intégral. Le clonage de voix à partir d'un extrait de référence est intégré, ce qui est utile pour des produits et pose une question de consentement à gérer vous-même.
Ce n'est pas un assistant à la taille d'un téléphone, malgré le slogan de la fiche. C'est un modèle pour poste de travail ou GPU unique, et le plus récent MiniCPM-V 4.7 est le meilleur choix si vous avez seulement besoin de lire des images et des documents.
Là où il fait la différence
Un ingénieur en robotique dans une start-up de dix personnes spécialisée dans les assistants domestiques
Donner à un prototype une voix qui voit la pièce et accepte d'être interrompue en pleine phrase
Faites tourner la version int4 sur un GPU de 12 Go avec llama.cpp-omni et diffusez caméra et micro en continu. OpenBMB mesure 11,0 Go et 0,6 seconde avant le premier token ; la décision parler-ou-attendre à 1 Hz lui permet d'émettre des alertes spontanées.
Une product manager d'une application de soutien scolaire en chinois
Prototyper un tuteur vocal qui lit la feuille d'exercices d'un élève via la caméra
Utilisez le mode vocal bilingue avec une voix configurable et envoyez des photos des feuilles jusqu'à 1,8 million de pixels. Son 80,1 sur MathVista convient aux devoirs de maths ; prévoyez un GPU de 28 Go pour la démo web complète.
Un analyste des opérations dans une entreprise de logistique
Extraire des champs de bons de livraison scannés en anglais sans API cloud
Servez le modèle BF16 avec vLLM sur une carte de 24 Go et demandez une sortie structurée. Le 94,7 sur DocVQA et l'affirmation sur OmniDocBench viennent de l'éditeur : vérifiez un échantillon d'extractions avant de vous y fier.
Avant de vous engager
- Mise en route
- Chargez-le avec transformers sur un GPU NVIDIA en pleine précision, ou utilisez les versions GGUF et int4 dans llama.cpp, llama.cpp-omni ou Ollama. OpenBMB fournit une image Docker pour la démo web en duplex intégral sur Mac.
- Intégrations
- vLLM et SGLang pour le service, llama.cpp et Ollama pour CPU et Mac, FlagOS pour d'autres puces d'IA. La démo web peut servir de backend d'API à d'autres applications.
- Données et confidentialité
- Auto-hébergé : caméra, micro et documents restent sur votre matériel. Apache 2.0 autorise l'usage commercial et la modification. Le clonage de voix à partir d'un audio de référence est intégré.
- Coût à grande échelle
- Les poids sont gratuits. Comptez 19,0 Go de mémoire GPU en BF16 ou 11,0 Go en int4, selon le tableau d'OpenBMB ; aucun tarif hébergé au token n'est publié.
- Limites
- Conversation vocale en anglais et en chinois uniquement ; la voix en semi-duplex de la démo web principale est encore en développement. La fenêtre de contexte n'est pas indiquée sur la fiche.
Les points forts
- Vidéo, audio et voix en duplex intégral dans un seul modèle de 9B
- Moyenne de 77,6 sur OpenCompass, au-dessus de GPT-4o (chiffre éditeur)
- 11,0 Go et 212,3 tokens par seconde en int4
- Poids Apache 2.0 avec versions pour llama.cpp et Ollama
Les points faibles
- Conversation vocale en anglais et en chinois uniquement
- La démo complète en temps réel exige un GPU de 28 Go
- Le clonage de voix soulève des questions de consentement à gérer
- MiniCPM-V 4.7, limité à la vision, est plus récent pour les documents
Idéal pour
Les développeurs qui construisent un assistant local et privé, vocal et caméra, en anglais ou en chinois, sur un GPU ou un Mac haut de gamme.
Alternatives à MiniCPM-o 4.5
MiniCPM-o 4.5 : questions fréquentes
- MiniCPM-o 4.5 vaut-il le coup ?
- C'est le modèle ouvert par lequel commencer si vous voulez un assistant local qui voit et parle en temps réel, pour peu que l'anglais ou le chinois vous suffise. Nous lui donnons 4.1 sur 5.
- Combien coûte MiniCPM-o 4.5 ?
- Poids gratuits sous Apache 2.0. Aucun tarif publié pour un service hébergé maison ; vous payez votre propre matériel.
- Quels sont les inconvénients de MiniCPM-o 4.5 ?
- Conversation vocale en anglais et en chinois uniquement; la démo complète en temps réel exige un GPU de 28 Go; le clonage de voix soulève des questions de consentement à gérer; miniCPM-V 4.7, limité à la vision, est plus récent pour les documents.
- À qui s’adresse MiniCPM-o 4.5 ?
- Les développeurs qui construisent un assistant local et privé, vocal et caméra, en anglais ou en chinois, sur un GPU ou un Mac haut de gamme.
- Combien coûte MiniCPM-o 4.5 pour une équipe ou en production ?
- Les poids sont gratuits. Comptez 19,0 Go de mémoire GPU en BF16 ou 11,0 Go en int4, selon le tableau d'OpenBMB ; aucun tarif hébergé au token n'est publié.
- MiniCPM-o 4.5 est-il sûr pour les données de l’entreprise ?
- Auto-hébergé : caméra, micro et documents restent sur votre matériel. Apache 2.0 autorise l'usage commercial et la modification. Le clonage de voix à partir d'un audio de référence est intégré.
- Quelles sont les meilleures alternatives à MiniCPM-o 4.5 ?
- Les alternatives les plus proches que nous avons testées sont MiniCPM-V 4.7 (35B-A3B and 1B), Gemma 4, Phi-4-multimodal et LFM3.
Réponses vérifiées le 7 nov. 2026.
Vous éditez MiniCPM-o 4.5 ? Affichez cette note sur votre site
