Was ist MiniCPM-o 4.5?
MiniCPM-o 4.5 ist OpenBMBs offenes Omni-Modell, veröffentlicht im Februar 2026. Es verbindet vier vorhandene Bausteine durchgängig: einen SigLIP2-Vision-Encoder, einen Whisper-medium-Audio-Encoder, einen CosyVoice2-Sprachdecoder und das Sprachmodell Qwen3-8B, zusammen etwa 9 Milliarden Parameter. Es liest Bilder bis 1,8 Millionen Pixel und Video mit bis zu 10 Bildern pro Sekunde, hört Sprache und antwortet als Text oder mit einer Stimme, die sich aus einem kurzen Referenzclip klonen lässt.
Die Hauptfunktion ist Vollduplex: Das Modell nimmt fortlaufend Video und Audio auf, während es spricht, lässt sich also unterbrechen, und entscheidet einmal pro Sekunde, ob es von sich aus etwas sagt, etwa eine Erinnerung zu dem, was es sieht. Sprachdialoge funktionieren auf Englisch und Chinesisch. Ein Checkpoint enthält sowohl einen Instruct- als auch einen Thinking-Modus.
Die Gewichte stehen unter Apache 2.0. In den letzten 30 Tagen kamen sie auf etwa 191.000 Downloads bei Hugging Face. Es ist eine andere Reihe als das reine Vision-Modell MiniCPM-V 4.7, das OpenBMB im Oktober veröffentlichte.
Lohnt sich MiniCPM-o 4.5?
MiniCPM-o 4.5 bringt Live-Sprache, Video und Bildverständnis in einem offenen 9B-Modell zusammen, und seine Vision-Werte halten gegen geschlossene Modelle mit. Laut OpenBMBs Modellkarte erreicht es im Schnitt 77,6 auf den acht Vision-Tests von OpenCompass, vor GPT-4o mit 75,4 und Qwen3-VL-8B mit 76,5 und knapp hinter Gemini 2.5 Flash mit 78,5. Es erzielt 87,6 auf MMBench Englisch, 80,1 auf MathVista und 94,7 auf DocVQA, und OpenBMB beansprucht auf OmniDocBench den besten End-to-End-Wert für englische Dokumentanalyse. Alles sind eigene Angaben.
Die Geschwindigkeitstabelle erklärt, warum es sich für den lokalen Einsatz eignet. In BF16 dekodiert es 154,3 Tokens pro Sekunde mit 0,6 Sekunden bis zum ersten Token in 19,0 GB GPU-Speicher; in int4 werden daraus 212,3 Tokens pro Sekunde in 11,0 GB. Qwen3-Omni-30B-A3B, der nächste offene Konkurrent, lief im selben Test in BF16 aus dem Speicher und brauchte in int4 20,3 GB. Die Textfähigkeiten halten für ein 9B-Modell mit: 77,0 auf MMLU, 86,6 auf HumanEval und 94,5 auf GSM8K.
Die Grenzen liegen bei der Sprache. Gesprochene Dialoge gibt es nur auf Englisch und Chinesisch, Text funktioniert in mehr als 30 Sprachen. Die vollständige Echtzeit-Webdemo verlangt eine NVIDIA-GPU mit mindestens 28 GB, und der günstigere Weg über llama.cpp-omni braucht für Vollduplex immer noch einen Apple M4 Max mit 24 GB oder eine 12-GB-GPU. Stimmklonen aus einem Referenzclip ist eingebaut, nützlich für Produkte und ein Einwilligungsproblem, das du selbst lösen musst.
Ein Assistent in Smartphone-Größe ist das trotz des Slogans auf der Modellkarte nicht. Es ist ein Modell für Desktop oder eine einzelne GPU, und das neuere MiniCPM-V 4.7 ist die bessere Wahl, wenn du nur Bilder und Dokumente lesen musst.
Wo es sich lohnt
Ein Robotik-Ingenieur in einem zehnköpfigen Start-up für Haushaltsassistenten
Einem Prototyp eine Stimme geben, die den Raum sieht und sich mitten im Satz unterbrechen lässt
Den int4-Build auf einer 12-GB-GPU über llama.cpp-omni laufen lassen und Kamera und Mikrofon streamen. OpenBMB misst 11,0 GB und 0,6 Sekunden bis zum ersten Token; die Sprechen-oder-Warten-Entscheidung mit 1 Hz erlaubt ungefragte Hinweise.
Eine Produktmanagerin bei einer chinesischsprachigen Nachhilfe-App
Einen sprechenden Tutor prototypen, der das Arbeitsblatt eines Schülers über die Kamera liest
Den zweisprachigen Sprachmodus mit konfigurierbarer Stimme nutzen und Fotos der Arbeitsblätter bis 1,8 Millionen Pixel übergeben. Die 80,1 auf MathVista passen zu Mathe-Hausaufgaben; für die vollständige Webdemo eine 28-GB-GPU einplanen.
Ein Operations-Analyst bei einem Logistikunternehmen
Felder aus gescannten englischen Lieferscheinen ohne Cloud-API auslesen
Das BF16-Modell mit vLLM auf einer 24-GB-Karte betreiben und strukturierte Ausgabe anfordern. Die 94,7 auf DocVQA und die OmniDocBench-Aussage sind eigene Angaben, also eine Stichprobe der Extraktionen prüfen, bevor du dich darauf verlässt.
Bevor du dich festlegst
- Einrichtung
- Mit transformers auf einer NVIDIA-GPU in voller Präzision laden oder die GGUF- und int4-Builds in llama.cpp, llama.cpp-omni oder Ollama nutzen. OpenBMB liefert ein Docker-Image für die Vollduplex-Webdemo auf dem Mac.
- Integrationen
- vLLM und SGLang zum Bereitstellen, llama.cpp und Ollama für CPU und Mac, FlagOS für andere KI-Chips. Die Webdemo kann als API-Backend für andere Apps dienen.
- Daten und Datenschutz
- Selbst gehostet, Kamera, Mikrofon und Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung und Änderungen. Stimmklonen aus Referenzaudio ist eingebaut.
- Kosten im großen Maßstab
- Die Gewichte sind kostenlos. Plane laut OpenBMBs Tabelle 19,0 GB GPU-Speicher in BF16 oder 11,0 GB in int4 ein; ein gehosteter Preis pro Token ist nicht veröffentlicht.
- Grenzen
- Sprachdialoge nur auf Englisch und Chinesisch; Halbduplex-Sprache in der Haupt-Webdemo ist noch in Entwicklung. Das Kontextfenster steht nicht auf der Modellkarte.
Was gut ist
- Vollduplex-Video, Audio und Sprache in einem 9B-Modell
- 77,6 im OpenCompass-Schnitt, über GPT-4o (eigene Angabe)
- 11,0 GB und 212,3 Tokens pro Sekunde in int4
- Apache-2.0-Gewichte mit Builds für llama.cpp und Ollama
Was nicht
- Sprachdialoge nur auf Englisch und Chinesisch
- Vollständige Echtzeitdemo braucht eine 28-GB-GPU
- Stimmklonen wirft Einwilligungsfragen auf, die du klären musst
- Das reine Vision-Modell MiniCPM-V 4.7 ist für Dokumente neuer
Am besten für
Entwickler, die einen privaten, lokalen Sprach- und Kamera-Assistenten auf Englisch oder Chinesisch auf einer GPU oder einem High-End-Mac bauen.
Alternativen zu MiniCPM-o 4.5
MiniCPM-o 4.5: häufige Fragen
- Lohnt sich MiniCPM-o 4.5?
- Das ist das offene Modell, mit dem du anfangen solltest, wenn du einen lokalen Assistenten willst, der in Echtzeit sieht und spricht, solange Englisch oder Chinesisch reicht. Wir bewerten es mit 4.1 von 5.
- Was kostet MiniCPM-o 4.5?
- Kostenlose Gewichte unter Apache 2.0. Kein veröffentlichter Preis für ein eigenes gehostetes Angebot; du zahlst deine eigene Hardware.
- Welche Nachteile hat MiniCPM-o 4.5?
- Sprachdialoge nur auf Englisch und Chinesisch; Vollständige Echtzeitdemo braucht eine 28-GB-GPU; Stimmklonen wirft Einwilligungsfragen auf, die du klären musst; Das reine Vision-Modell MiniCPM-V 4.7 ist für Dokumente neuer.
- Für wen eignet sich MiniCPM-o 4.5?
- Entwickler, die einen privaten, lokalen Sprach- und Kamera-Assistenten auf Englisch oder Chinesisch auf einer GPU oder einem High-End-Mac bauen.
- Was kostet MiniCPM-o 4.5 für ein Team oder im Produktivbetrieb?
- Die Gewichte sind kostenlos. Plane laut OpenBMBs Tabelle 19,0 GB GPU-Speicher in BF16 oder 11,0 GB in int4 ein; ein gehosteter Preis pro Token ist nicht veröffentlicht.
- Ist MiniCPM-o 4.5 sicher für Firmendaten?
- Selbst gehostet, Kamera, Mikrofon und Dokumente bleiben also auf deiner Hardware. Apache 2.0 erlaubt kommerzielle Nutzung und Änderungen. Stimmklonen aus Referenzaudio ist eingebaut.
- Was sind die besten Alternativen zu MiniCPM-o 4.5?
- Die nächsten Alternativen, die wir getestet haben, sind MiniCPM-V 4.7 (35B-A3B and 1B), Gemma 4, Phi-4-multimodal und LFM3.
Antworten geprüft am 7. Nov. 2026.
Du entwickelst MiniCPM-o 4.5? Zeig diese Bewertung auf deiner Website
