Was ist Phi-4-multimodal?
Phi-4-multimodal ist ein Modell von Microsoft mit 5,6 Milliarden Parametern, vorgestellt am 26. Februar 2025. Es ergänzt das Sprachmodell Phi-4-mini über eine Mixture of LoRAs (kleine zusätzliche Gewichtssätze) um Encoder für Sprache und Bild, sodass ein einziges Modell Text, Bilder und Audio annimmt und Text schreibt. Es hat einen Kontext von 128K Tokens.
Text funktioniert in 23 Sprachen, Sprache in 8 (Englisch, Chinesisch, Deutsch, Französisch, Italienisch, Japanisch, Spanisch und Portugiesisch), und das Bildverständnis nur auf Englisch. Die Trainingsdaten reichen bis Juni 2024. Microsoft empfiehlt, Audio für Transkription auf 40 Sekunden und für Zusammenfassungen auf 30 Minuten zu begrenzen.
Die Gewichte stehen unter MIT auf Hugging Face, mit einem offiziellen ONNX-Build. Azure AI Foundry berechnet 0,00008 $ pro 1.000 Eingabe-Tokens und 0,00032 $ pro 1.000 Ausgabe-Tokens für Text und Bilder sowie 0,004 $ pro 1.000 Audio-Eingabe-Tokens, laut Azures Einzelhandelspreisliste unverändert seit dem Start. Im Januar 2026 veröffentlichte Microsoft Paza, ein nur für die Forschung bestimmtes Finetune für Spracherkennung in sechs ostafrikanischen Sprachen.
Was kostet Phi-4-multimodal?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| Weights | Free | MIT-Lizenz |
| Text or image tokens | $0.08 in / $0.32 out per 1M tokens | Azure AI Foundry (Einzelhandelspreis US East) |
| Audio input | $4 per 1M tokens |
Kostenlose Gewichte unter MIT. Azure AI Foundry: 0,08 $ Eingabe / 0,32 $ Ausgabe pro 1M Text- oder Bild-Tokens; Audio-Eingabe 4 $ pro 1M.
Lohnt sich Phi-4-multimodal?
Phi-4-multimodal ist weiterhin Microsofts einziges offenes Modell, das Sprache hört, und das ist inzwischen sein Hauptargument. Zum Start erklärte Microsoft, es führe die OpenASR-Rangliste von Hugging Face mit einer Wortfehlerrate von 6,14 % an, gegenüber einem bisherigen Bestwert von 6,5 %, und sein Durchschnitt in Microsofts Vision-Tests lag bei 72,0, nah an den 72,4 von GPT-4o in derselben Tabelle. Beide Werte sind selbst gemeldet. Microsoft räumte außerdem einen Rückstand gegenüber Gemini 2.0 Flash und dem Realtime-Modell von GPT-4o bei der Beantwortung gesprochener Fragen ein, weil ein kleines Modell weniger Faktenwissen behält.
Microsofts spätere Phi-Arbeit ging in eine andere Richtung. Phi-4-reasoning-vision-15B vom Januar 2026 liest Bilder, aber kein Audio. Der einzige Nachfolger für Sprache ist Paza, ein Finetune, das nur die Audio-Komponenten für Swahili, Kalenjin, Kikuyu, Luo, Maasai und Somali trainiert hat und das Microsoft als Forschungsrelease kennzeichnet, das ohne weitere Tests nicht für kommerzielle Nutzung empfohlen wird.
Die Konkurrenz hat sich bewegt. Googles Gemma 4 E2B und E4B, im April 2026 unter Apache 2.0 erschienen, nehmen ebenfalls Audio und Bilder an, in einer Größe, die auf Smartphones passt. Das Bildverständnis von Phi-4-multimodal funktioniert nur auf Englisch, und Microsofts Red-Teaming fand es anfälliger für Kontextmanipulation und Überredung, als Microsoft lieb ist, wobei Überredung auf Französisch und Italienisch am besten wirkte.
Die betrieblichen Details verdienen mehr Aufmerksamkeit als der Wert auf der Rangliste. Transkriptionsqualität wird nur für Clips bis 40 Sekunden zugesagt, Flash Attention braucht eine GPU der Ampere-Klasse oder neuer, und vLLM verlangt, dass die LoRA-Ordner für Sprache und Bild separat übergeben werden. Alles, was länger ist als eine Sprachnachricht, muss vor dem Modell zerlegt werden, und diese Verrohrung muss getestet sein, bevor irgendeine Wortfehlerrate viel bedeutet.
Wo es sich lohnt
Ein Mobile-Entwickler, der eine Offline-App für Inspektionen vor Ort baut
Eine kurze gesprochene Notiz und ein Foto auf dem Gerät in einen strukturierten Bericht verwandeln
Ein Satz Gewichte liest beide Eingaben, und für On-Device-Laufzeiten gibt es einen ONNX-Build. Clips sollten unter 40 Sekunden bleiben, und Microsoft warnt, dass die Genauigkeit bei anderen Akzenten als amerikanischem Standardenglisch sinkt.
Eine Leiterin für Contact-Center-Analysen bei einem europäischen Versicherer
Aufgezeichnete Anrufe auf Deutsch, Französisch oder Spanisch zusammenfassen, ohne Audio an eine Cloud-API zu schicken
Selbst gehostet auf einer A100 oder H100, wie Microsoft es empfiehlt, nimmt es für Zusammenfassungen bis zu 30 Minuten Audio an. Die MIT-Lizenz hat keine Umsatzgrenze, aber die Befunde zur Überredbarkeit sprechen dafür, Ausgaben zu prüfen, bevor sie Kunden erreichen.
Ein Sprachforscher, der an einer wenig versorgten Sprache arbeitet
Spracherkennung an eine neue Sprache anpassen, ohne ein Modell von Grund auf zu trainieren
Microsofts eigenes Paza-Finetune hat nur den Audio-Encoder und die Projektionsschichten freigegeben und das Sprachmodell unverändert gelassen. Das Beispiel für Sprach-Fine-Tuning auf der Karte lief auf einer einzelnen A100 80GB.
Bevor du dich festlegst
- Einrichtung
- Von Hugging Face mit Transformers und trust_remote_code laden. Flash Attention braucht eine GPU der Ampere-Klasse oder neuer; auf V100 muss auf Eager Attention ausgewichen werden.
- Integrationen
- Transformers und der OpenAI-kompatible Server von vLLM (mit separaten LoRA-Ordnern für Sprache und Bild), ein offizieller ONNX-Build, Azure AI Foundry und der API-Katalog von NVIDIA.
- Daten und Datenschutz
- MIT-Lizenz ohne Umsatzgrenze oder gesonderte Nutzungsrichtlinie. Selbst gehostet bleiben Audio und Bilder auf deiner Hardware; Azures Bedingungen gelten nur, wenn du Microsofts gehosteten Endpunkt nutzt.
- Kosten im großen Maßstab
- Bei Azure AI Foundry kostet Audio-Eingabe 4 $ pro 1M Tokens gegenüber 0,08 $ für Text und Bilder, Sprache dominiert also jede Rechnung; die Ausgabe kostet 0,32 $ pro 1M, laut Azures Einzelhandelspreisliste dieselben Tarife wie zum Start. Selbsthosting braucht eine aktuelle Rechenzentrums-GPU.
- Grenzen
- Kontext von 128K Tokens, aber für Audio werden 40 Sekunden bei Transkription und 30 Minuten bei Zusammenfassungen empfohlen. Nach Microsofts eigener Aussage schwächer bei gesprochenen Fragen als größere Modelle.
Was gut ist
- Sprach-, Bild- und Texteingabe in einem Modell mit 5,6B
- MIT-Lizenz ohne Umsatzgrenze
- Wortfehlerrate von 6,14 % auf OpenASR zum Start (selbst gemeldet)
- Kontext von 128K Tokens; offizieller ONNX-Build
Was nicht
- Erschienen im Februar 2025, Trainingsdaten bis Juni 2024
- Bildverständnis nur auf Englisch, Sprache in 8 Sprachen
- Transkription empfohlen für Clips von höchstens 40 Sekunden
- Mehr Aufwand beim Serving als ein reines Textmodell
Am besten für
Entwickler, die ein kleines Modell unter MIT-Lizenz für Sprach- und Bildeingabe direkt auf dem Gerät suchen.
Alternativen zu Phi-4-multimodal
Phi-4-multimodal: häufige Fragen
- Lohnt sich Phi-4-multimodal?
- Immer noch das einzige Phi-Modell, das Sprache hört, aber mit 20 Monaten haben es neuere kleine multimodale Modelle überholt. Wir bewerten es mit 3.3 von 5.
- Was kostet Phi-4-multimodal?
- Kostenlose Gewichte unter MIT. Azure AI Foundry: 0,08 $ Eingabe / 0,32 $ Ausgabe pro 1M Text- oder Bild-Tokens; Audio-Eingabe 4 $ pro 1M.
- Welche Nachteile hat Phi-4-multimodal?
- Erschienen im Februar 2025, Trainingsdaten bis Juni 2024; Bildverständnis nur auf Englisch, Sprache in 8 Sprachen; Transkription empfohlen für Clips von höchstens 40 Sekunden; Mehr Aufwand beim Serving als ein reines Textmodell.
- Für wen eignet sich Phi-4-multimodal?
- Entwickler, die ein kleines Modell unter MIT-Lizenz für Sprach- und Bildeingabe direkt auf dem Gerät suchen.
- Was kostet Phi-4-multimodal für ein Team oder im Produktivbetrieb?
- Bei Azure AI Foundry kostet Audio-Eingabe 4 $ pro 1M Tokens gegenüber 0,08 $ für Text und Bilder, Sprache dominiert also jede Rechnung; die Ausgabe kostet 0,32 $ pro 1M, laut Azures Einzelhandelspreisliste dieselben Tarife wie zum Start. Selbsthosting braucht eine aktuelle Rechenzentrums-GPU.
- Ist Phi-4-multimodal sicher für Firmendaten?
- MIT-Lizenz ohne Umsatzgrenze oder gesonderte Nutzungsrichtlinie. Selbst gehostet bleiben Audio und Bilder auf deiner Hardware; Azures Bedingungen gelten nur, wenn du Microsofts gehosteten Endpunkt nutzt.
- Was sind die besten Alternativen zu Phi-4-multimodal?
- Die nächsten Alternativen, die wir getestet haben, sind Gemma 4, Phi-4-Reasoning-Vision-15B und Whisper large-v3-turbo.
Antworten geprüft am 26. Okt. 2026.