¿Qué es Phi-4-multimodal?
Phi-4-multimodal es un modelo de 5.600 millones de parámetros de Microsoft, anunciado el 26 de febrero de 2025. Añade codificadores de voz y de visión al modelo de lenguaje Phi-4-mini mediante una mezcla de LoRA (pequeños conjuntos de pesos adicionales), de modo que un solo modelo acepta texto, imágenes y audio y escribe texto. Tiene un contexto de 128K tokens.
El texto funciona en 23 idiomas, la voz en 8 (inglés, chino, alemán, francés, italiano, japonés, español y portugués) y la visión solo en inglés. Sus datos de entrenamiento llegan hasta junio de 2024. Microsoft aconseja limitar el audio a 40 segundos para transcripción y a 30 minutos para resúmenes.
Los pesos están bajo MIT en Hugging Face, con una versión ONNX oficial. Azure AI Foundry cobra 0,00008 $ por cada 1.000 tokens de entrada y 0,00032 $ por cada 1.000 tokens de salida para texto e imágenes, y 0,004 $ por cada 1.000 tokens de entrada de audio, sin cambios desde el lanzamiento según la lista de precios minoristas de Azure. En enero de 2026 Microsoft publicó Paza, un ajuste fino solo para investigación de reconocimiento de voz en seis idiomas de África Oriental.
¿Cuánto cuesta Phi-4-multimodal?
| Plan | Precio | Qué incluye |
|---|---|---|
| Weights | Free | Licencia MIT |
| Text or image tokens | $0.08 in / $0.32 out per 1M tokens | Azure AI Foundry (precio minorista en US East) |
| Audio input | $4 per 1M tokens |
Pesos gratuitos bajo MIT. Azure AI Foundry: 0,08 $ de entrada / 0,32 $ de salida por 1M de tokens de texto o imagen; entrada de audio a 4 $ por 1M.
¿Merece la pena Phi-4-multimodal?
Phi-4-multimodal sigue siendo el único modelo abierto de Microsoft que oye voz, y ese es ahora su principal argumento. En el lanzamiento, Microsoft dijo que encabezaba la clasificación OpenASR de Hugging Face con una tasa de error por palabra del 6,14 %, frente a un mejor resultado anterior del 6,5 %, y su media en las pruebas de visión de Microsoft fue de 72,0, cerca del 72,4 de GPT-4o en la misma tabla. Ambas cifras son autodeclaradas. Microsoft también reconoció una distancia frente a Gemini 2.0 Flash y el modelo en tiempo real de GPT-4o al responder preguntas habladas, porque un modelo pequeño retiene menos conocimiento factual.
El trabajo posterior de Microsoft en Phi fue por otro camino. Phi-4-reasoning-vision-15B, de enero de 2026, lee imágenes pero no audio. La única continuación en voz es Paza, un ajuste fino que solo entrenó los componentes de audio para suajili, kalenjin, kikuyu, luo, masái y somalí, y que Microsoft califica de versión de investigación no recomendada para uso comercial sin más pruebas.
La competencia ha avanzado. Gemma 4 E2B y E4B de Google, lanzados en abril de 2026 bajo Apache 2.0, también aceptan audio e imágenes con un tamaño apto para móviles. La visión de Phi-4-multimodal es solo en inglés, y las pruebas de red team de Microsoft lo encontraron más vulnerable a la manipulación del contexto y a la persuasión de lo que le gustaría, con la persuasión funcionando mejor en francés e italiano.
Los detalles operativos merecen más atención que la cifra de la clasificación. La calidad de transcripción solo se promete para clips de hasta 40 segundos, flash attention necesita una GPU de clase Ampere o más reciente, y vLLM necesita que las carpetas LoRA de voz y de visión se le pasen por separado. Todo lo que dure más que un mensaje de buzón de voz hay que segmentarlo antes de que llegue al modelo, y esa fontanería hay que probarla antes de que cualquier tasa de error por palabra signifique mucho.
Dónde se gana su sitio
Un desarrollador móvil que crea una app de inspección de campo sin conexión
Convertir una nota de voz breve y una foto en un único informe estructurado en el dispositivo
Un único conjunto de pesos lee ambas entradas, y existe una versión ONNX para entornos de ejecución en el dispositivo. Los clips deben durar menos de 40 segundos, y Microsoft advierte de que la precisión baja con acentos distintos del inglés estadounidense estándar.
Un responsable de analítica de centro de contacto en una aseguradora europea
Resumir llamadas grabadas en alemán, francés o español sin enviar el audio a una API en la nube
Autoalojado en una A100 o H100, como recomienda Microsoft, acepta hasta 30 minutos de audio para resúmenes. La licencia MIT no tiene límite de ingresos, pero los resultados sobre persuasión aconsejan revisar las respuestas antes de que lleguen a los clientes.
Un investigador del habla que trabaja con un idioma poco atendido
Adaptar el reconocimiento de voz a un nuevo idioma sin entrenar un modelo desde cero
El propio ajuste fino Paza de Microsoft solo descongeló el codificador de audio y las capas de proyección, y dejó intacto el modelo de lenguaje. El ejemplo de ajuste fino de voz de la ficha se ejecutó en una sola A100 de 80GB.
Antes de decidirte
- Puesta en marcha
- Cárgalo desde Hugging Face con Transformers y trust_remote_code. Flash attention necesita una GPU de clase Ampere o más reciente; en las V100 hay que recurrir a la atención eager.
- Integraciones
- Transformers y el servidor compatible con OpenAI de vLLM (con carpetas LoRA de voz y de visión separadas), una versión ONNX oficial, Azure AI Foundry y el catálogo de API de NVIDIA.
- Datos y privacidad
- Licencia MIT sin límite de ingresos ni política de uso aparte. Autoalojado, el audio y las imágenes se quedan en tu hardware; las condiciones de Azure solo se aplican si usas el endpoint alojado de Microsoft.
- Coste a escala
- En Azure AI Foundry, la entrada de audio cuesta 4 $ por 1M de tokens frente a 0,08 $ para texto e imágenes, así que la voz domina cualquier factura; la salida cuesta 0,32 $ por 1M, las mismas tarifas que en el lanzamiento según la lista de precios minoristas de Azure. Autoalojarlo requiere una GPU de centro de datos reciente.
- Límites
- Contexto de 128K tokens, pero se aconseja limitar el audio a 40 segundos para transcripción y a 30 minutos para resúmenes. Más flojo que los modelos más grandes respondiendo preguntas habladas, según la propia Microsoft.
Lo bueno
- Entrada de voz, imagen y texto en un solo modelo de 5,6B
- Licencia MIT sin límite de ingresos
- Tasa de error por palabra del 6,14 % en OpenASR en el lanzamiento (autodeclarada)
- Contexto de 128K tokens; versión ONNX oficial
Lo malo
- Lanzado en febrero de 2025, con datos de entrenamiento hasta junio de 2024
- La visión es solo en inglés; la voz cubre 8 idiomas
- Se aconseja transcribir clips de 40 segundos o menos
- Servirlo exige más configuración que un modelo solo de texto
Ideal para
Desarrolladores que quieren un modelo pequeño con licencia MIT para entrada de voz e imagen en el dispositivo.
Alternativas a Phi-4-multimodal
Phi-4-multimodal: preguntas frecuentes
- ¿Merece la pena Phi-4-multimodal?
- Sigue siendo el único modelo Phi que oye voz, pero con 20 meses lo han superado modelos multimodales pequeños más recientes. Le damos un 3.3 sobre 5.
- ¿Cuánto cuesta Phi-4-multimodal?
- Pesos gratuitos bajo MIT. Azure AI Foundry: 0,08 $ de entrada / 0,32 $ de salida por 1M de tokens de texto o imagen; entrada de audio a 4 $ por 1M.
- ¿Qué inconvenientes tiene Phi-4-multimodal?
- Lanzado en febrero de 2025, con datos de entrenamiento hasta junio de 2024; la visión es solo en inglés; la voz cubre 8 idiomas; se aconseja transcribir clips de 40 segundos o menos; servirlo exige más configuración que un modelo solo de texto.
- ¿Para quién es Phi-4-multimodal?
- Desarrolladores que quieren un modelo pequeño con licencia MIT para entrada de voz e imagen en el dispositivo.
- ¿Cuánto cuesta Phi-4-multimodal para un equipo o en producción?
- En Azure AI Foundry, la entrada de audio cuesta 4 $ por 1M de tokens frente a 0,08 $ para texto e imágenes, así que la voz domina cualquier factura; la salida cuesta 0,32 $ por 1M, las mismas tarifas que en el lanzamiento según la lista de precios minoristas de Azure. Autoalojarlo requiere una GPU de centro de datos reciente.
- ¿Es Phi-4-multimodal seguro para los datos de la empresa?
- Licencia MIT sin límite de ingresos ni política de uso aparte. Autoalojado, el audio y las imágenes se quedan en tu hardware; las condiciones de Azure solo se aplican si usas el endpoint alojado de Microsoft.
- ¿Cuáles son las mejores alternativas a Phi-4-multimodal?
- Las alternativas más cercanas que hemos analizado son Gemma 4, Phi-4-Reasoning-Vision-15B y Whisper large-v3-turbo.
Respuestas comprobadas el 26 oct 2026.