Qu’est-ce que Phi-4-multimodal ?
Phi-4-multimodal est un modèle de 5,6 milliards de paramètres de Microsoft, annoncé le 26 février 2025. Il ajoute des encodeurs de parole et de vision au modèle de langage Phi-4-mini à l'aide d'un mélange de LoRA (petits jeux de poids d'appoint), si bien qu'un seul modèle prend le texte, les images et l'audio et écrit du texte. Il a un contexte de 128K tokens.
Le texte fonctionne en 23 langues, la parole en 8 (anglais, chinois, allemand, français, italien, japonais, espagnol et portugais), et la vision est en anglais uniquement. Ses données d'entraînement vont jusqu'à juin 2024. Microsoft suggère de garder l'audio à 40 secondes pour la transcription et 30 minutes pour le résumé.
Les poids sont sous MIT sur Hugging Face, avec une version ONNX officielle. Azure AI Foundry facture 0,00008 $ les 1 000 tokens en entrée et 0,00032 $ les 1 000 tokens en sortie pour le texte et les images, et 0,004 $ les 1 000 tokens audio en entrée, inchangé depuis le lancement selon la liste de prix de détail d'Azure. En janvier 2026, Microsoft a publié Paza, un fine-tune réservé à la recherche pour la reconnaissance vocale de six langues d'Afrique de l'Est.
Combien coûte Phi-4-multimodal ?
| Offre | Prix | Ce qui est inclus |
|---|---|---|
| Weights | Free | Licence MIT |
| Text or image tokens | $0.08 in / $0.32 out per 1M tokens | Azure AI Foundry (prix de détail US East) |
| Audio input | $4 per 1M tokens |
Poids gratuits sous MIT. Azure AI Foundry : 0,08 $ en entrée / 0,32 $ en sortie par 1M de tokens de texte ou d'image ; audio en entrée 4 $ par 1M.
Phi-4-multimodal vaut-il le coup ?
Phi-4-multimodal est toujours le seul modèle ouvert de Microsoft qui entend la parole, et c'est désormais son principal argument. Au lancement, Microsoft indiquait qu'il dominait le classement OpenASR de Hugging Face avec un taux d'erreur sur les mots de 6,14 %, contre un précédent meilleur de 6,5 %, et que sa moyenne sur les tests de vision de Microsoft était de 72,0, proche des 72,4 de GPT-4o dans le même tableau. Les deux chiffres sont autodéclarés. Microsoft a aussi concédé un écart avec Gemini 2.0 Flash et le modèle temps réel de GPT-4o pour répondre à des questions parlées, car un petit modèle retient moins de connaissances factuelles.
Le travail Phi ultérieur de Microsoft est allé ailleurs. Phi-4-reasoning-vision-15B, de janvier 2026, lit les images mais pas l'audio. Le seul suivi en parole est Paza, un fine-tune qui n'a entraîné que les composants audio pour le swahili, le kalenjin, le kikuyu, le luo, le maasaï et le somali, que Microsoft qualifie de version de recherche non recommandée pour l'usage commercial sans tests supplémentaires.
La concurrence a avancé. Les Gemma 4 E2B et E4B de Google, sortis en avril 2026 sous Apache 2.0, prennent aussi l'audio et les images à une taille adaptée au téléphone. La vision de Phi-4-multimodal est en anglais uniquement, et le red-teaming de Microsoft l'a trouvé plus sensible à la manipulation de contexte et à la persuasion qu'il ne le voudrait, la persuasion fonctionnant le mieux en français et en italien.
Les détails opérationnels méritent plus d'attention que le chiffre de classement. La qualité de transcription n'est promise que pour des clips jusqu'à 40 secondes, flash attention a besoin d'un GPU de classe Ampere ou plus récent, et vLLM a besoin que les dossiers LoRA de parole et de vision soient passés séparément. Tout ce qui dépasse un message vocal doit être segmenté avant d'atteindre le modèle, et cette plomberie a besoin d'être testée avant que tout taux d'erreur sur les mots ne signifie grand-chose.
Là où il fait la différence
Un développeur mobile qui construit une appli d'inspection de terrain hors ligne
Transformer une courte note parlée et une photo en un rapport structuré sur l'appareil
Un seul jeu de poids lit les deux entrées, et une version ONNX existe pour les runtimes sur appareil. Les clips devraient rester sous 40 secondes, et Microsoft prévient que la précision baisse pour les accents autres que l'anglais am éricain standard.
Un responsable analytics de centre de contact chez un assureur européen
Résumer les appels enregistrés en allemand, français ou espagnol sans envoyer l'audio à une API cloud
Auto-hébergé sur un A100 ou H100, que Microsoft recommande, il accepte jusqu'à 30 minutes d'audio pour le résumé. La licence MIT n'a pas de plafond de revenus, mais les constats de persuasion plaident pour vérifier les sorties avant qu'elles n'atteignent les clients.
Un chercheur en parole qui travaille sur une langue mal desservie
Adapter la reconnaissance vocale à une nouvelle langue sans entraîner un modèle de zéro
Le propre fine-tune Paza de Microsoft n'a dégelé que l'encodeur audio et les couches de projection, laissant le modèle de langage intact. L'exemple d'affinage de parole de la fiche a tourné sur un seul A100 80GB.
Avant de vous engager
- Mise en route
- Chargez depuis Hugging Face avec Transformers et trust_remote_code. Flash attention a besoin d'un GPU de classe Ampere ou plus récent ; les V100 doivent se rabattre sur l'attention eager.
- Intégrations
- Transformers et le serveur compatible OpenAI de vLLM (avec des dossiers LoRA de parole et de vision distincts), une version ONNX officielle, Azure AI Foundry et le catalogue d'API NVIDIA.
- Données et confidentialité
- Licence MIT sans plafond de revenus ni politique d'usage distincte. Auto-hébergé, l'audio et les images restent sur votre matériel ; les conditions d'Azure ne s'appliquent que si vous utilisez l'endpoint hébergé de Microsoft.
- Coût à grande échelle
- Sur Azure AI Foundry, l'audio en entrée coûte 4 $ par 1M de tokens contre 0,08 $ pour le texte et les images, si bien que la parole domine toute facture ; la sortie est à 0,32 $ par 1M, les mêmes tarifs qu'au lancement selon la liste de prix de détail d'Azure. L'auto-hébergement a besoin d'un GPU de centre de données récent.
- Limites
- Contexte de 128K tokens, mais l'audio est conseillé à 40 secondes pour la transcription et 30 minutes pour le résumé. Plus faible en réponse à des questions parlées que les modèles plus grands, selon le propre compte de Microsoft.
Les points forts
- Entrée de parole, d'image et de texte dans un seul modèle de 5,6B
- Licence MIT sans plafond de revenus
- Taux d'erreur sur les mots OpenASR de 6,14 % au lancement (autodéclaré)
- Contexte de 128K tokens ; version ONNX officielle
Les points faibles
- Sorti en février 2025, données d'entraînement jusqu'à juin 2024
- La vision est en anglais uniquement, la parole couvre 8 langues
- Transcription conseillée pour des clips de 40 secondes ou moins
- Plus de travail de configuration à servir qu'un modèle de texte simple
Idéal pour
Les développeurs qui veulent un petit modèle sous licence MIT pour l'entrée de parole et d'image sur l'appareil.
Alternatives à Phi-4-multimodal
Phi-4-multimodal : questions fréquentes
- Phi-4-multimodal vaut-il le coup ?
- Toujours le seul modèle Phi qui entend la parole, mais à 20 mois il a été dépassé par des modèles multimodaux plus petits et plus récents. Nous lui donnons 3.3 sur 5.
- Combien coûte Phi-4-multimodal ?
- Poids gratuits sous MIT. Azure AI Foundry : 0,08 $ en entrée / 0,32 $ en sortie par 1M de tokens de texte ou d'image ; audio en entrée 4 $ par 1M.
- Quels sont les inconvénients de Phi-4-multimodal ?
- Sorti en février 2025, données d'entraînement jusqu'à juin 2024; la vision est en anglais uniquement, la parole couvre 8 langues; transcription conseillée pour des clips de 40 secondes ou moins; plus de travail de configuration à servir qu'un modèle de texte simple.
- À qui s’adresse Phi-4-multimodal ?
- Les développeurs qui veulent un petit modèle sous licence MIT pour l'entrée de parole et d'image sur l'appareil.
- Combien coûte Phi-4-multimodal pour une équipe ou en production ?
- Sur Azure AI Foundry, l'audio en entrée coûte 4 $ par 1M de tokens contre 0,08 $ pour le texte et les images, si bien que la parole domine toute facture ; la sortie est à 0,32 $ par 1M, les mêmes tarifs qu'au lancement selon la liste de prix de détail d'Azure. L'auto-hébergement a besoin d'un GPU de centre de données récent.
- Phi-4-multimodal est-il sûr pour les données de l’entreprise ?
- Licence MIT sans plafond de revenus ni politique d'usage distincte. Auto-hébergé, l'audio et les images restent sur votre matériel ; les conditions d'Azure ne s'appliquent que si vous utilisez l'endpoint hébergé de Microsoft.
- Quelles sont les meilleures alternatives à Phi-4-multimodal ?
- Les alternatives les plus proches que nous avons testées sont Gemma 4, Phi-4-Reasoning-Vision-15B et Whisper large-v3-turbo.
Réponses vérifiées le 26 oct. 2026.