O que é Phi-4-multimodal?
O Phi-4-multimodal é um modelo de 5,6 bilhões de parâmetros da Microsoft, anunciado em 26 de fevereiro de 2025. Ele adiciona encoders de fala e visão ao modelo de linguagem Phi-4-mini usando uma mistura de LoRAs (pequenos conjuntos de pesos adicionais), de modo que um único modelo recebe texto, imagens e áudio e escreve texto. Ele tem um contexto de 128K tokens.
O texto funciona em 23 idiomas, a fala em 8 (inglês, chinês, alemão, francês, italiano, japonês, espanhol e português), e a visão é só em inglês. Os dados de treinamento vão até junho de 2024. A Microsoft sugere limitar o áudio a 40 segundos para transcrição e a 30 minutos para resumo.
Os pesos estão sob MIT no Hugging Face, com um build ONNX oficial. O Azure AI Foundry cobra US$ 0,00008 por 1.000 tokens de entrada e US$ 0,00032 por 1.000 tokens de saída para texto e imagens, e US$ 0,004 por 1.000 tokens de entrada de áudio, sem mudança desde o lançamento segundo a lista de preços de varejo do Azure. Em janeiro de 2026 a Microsoft publicou o Paza, um fine-tune apenas para pesquisa voltado ao reconhecimento de fala em seis idiomas da África Oriental.
Quanto custa Phi-4-multimodal?
| Plano | Preço | O que inclui |
|---|---|---|
| Weights | Free | Licença MIT |
| Text or image tokens | $0.08 in / $0.32 out per 1M tokens | Azure AI Foundry (preço de varejo em US East) |
| Audio input | $4 per 1M tokens |
Pesos gratuitos sob MIT. Azure AI Foundry: US$ 0,08 de entrada / US$ 0,32 de saída por 1M de tokens de texto ou imagem; entrada de áudio a US$ 4 por 1M.
Phi-4-multimodal vale a pena?
O Phi-4-multimodal ainda é o único modelo aberto da Microsoft que ouve fala, e esse é agora o seu principal argumento. No lançamento, a Microsoft disse que ele liderava o OpenASR leaderboard do Hugging Face com uma taxa de erro de palavras de 6,14%, contra um recorde anterior de 6,5%, e sua média nos testes de visão da Microsoft era 72,0, perto dos 72,4 do GPT-4o na mesma tabela. Os dois números são autodeclarados. A Microsoft também admitiu uma desvantagem em relação ao Gemini 2.0 Flash e ao modelo realtime do GPT-4o ao responder perguntas faladas, porque um modelo pequeno retém menos conhecimento factual.
O trabalho posterior da Microsoft com o Phi foi para outro lado. O Phi-4-reasoning-vision-15B, de janeiro de 2026, lê imagens, mas não áudio. A única continuação em fala é o Paza, um fine-tune que treinou apenas os componentes de áudio para suaíli, kalenjin, kikuyu, luo, maasai e somali, que a Microsoft classifica como lançamento de pesquisa, não recomendado para uso comercial sem testes adicionais.
A concorrência avançou. O Gemma 4 E2B e o E4B do Google, lançados em abril de 2026 sob Apache 2.0, também recebem áudio e imagens em um tamanho adequado para celular. A visão do Phi-4-multimodal é só em inglês, e o red-teaming da Microsoft o considerou mais suscetível a manipulação de contexto e persuasão do que gostaria, com a persuasão funcionando melhor em francês e italiano.
Os detalhes operacionais merecem mais atenção que o número do leaderboard. A qualidade da transcrição só é prometida para clipes de até 40 segundos, o flash attention exige uma GPU da classe Ampere ou mais nova e o vLLM precisa receber separadamente as pastas de LoRA de fala e de visão. Qualquer coisa mais longa que uma mensagem de voz precisa ser segmentada antes de chegar ao modelo, e essa infraestrutura precisa ser testada antes que qualquer taxa de erro de palavras signifique muito.
Onde ele se destaca
Um desenvolvedor mobile criando um app offline de inspeção de campo
Transformar uma nota falada curta e uma foto em um relatório estruturado no próprio dispositivo
Um único conjunto de pesos lê as duas entradas, e existe um build ONNX para runtimes no dispositivo. Os clipes devem ficar abaixo de 40 segundos, e a Microsoft avisa que a acurácia cai para sotaques diferentes do inglês americano padrão.
Um líder de analytics de central de atendimento em uma seguradora europeia
Resumir chamadas gravadas em alemão, francês ou espanhol sem enviar o áudio a uma API na nuvem
Auto-hospedado em uma A100 ou H100, como a Microsoft recomenda, ele aceita até 30 minutos de áudio para resumo. A licença MIT não tem teto de receita, mas as conclusões sobre persuasão recomendam verificar as saídas antes que cheguem aos clientes.
Um pesquisador de fala trabalhando com um idioma pouco atendido
Adaptar o reconhecimento de fala a um novo idioma sem treinar um modelo do zero
O próprio fine-tune Paza da Microsoft descongelou apenas o encoder de áudio e as camadas de projeção, deixando o modelo de linguagem intacto. O exemplo de fine-tuning de fala do card rodou em uma única A100 80GB.
Antes de decidir
- Configuração
- Carregue do Hugging Face com Transformers e trust_remote_code. O flash attention exige uma GPU da classe Ampere ou mais nova; as V100 precisam recorrer ao eager attention.
- Integrações
- Transformers e o servidor compatível com OpenAI do vLLM (com pastas de LoRA de fala e de visão separadas), um build ONNX oficial, o Azure AI Foundry e o catálogo de APIs da NVIDIA.
- Dados e privacidade
- Licença MIT sem teto de receita nem política de uso separada. Auto-hospedado, áudio e imagens ficam no seu hardware; os termos do Azure só se aplicam se você usar o endpoint hospedado da Microsoft.
- Custo em escala
- No Azure AI Foundry, a entrada de áudio custa US$ 4 por 1M de tokens contra US$ 0,08 para texto e imagens, então a fala domina qualquer conta; a saída custa US$ 0,32 por 1M, as mesmas tarifas do lançamento segundo a lista de preços de varejo do Azure. Auto-hospedar exige uma GPU de data center recente.
- Limites
- Contexto de 128K tokens, mas o áudio é recomendado em até 40 segundos para transcrição e 30 minutos para resumo. Mais fraco em responder perguntas faladas do que modelos maiores, pela própria avaliação da Microsoft.
O que é bom
- Entrada de fala, imagem e texto em um único modelo de 5,6B
- Licença MIT sem teto de receita
- Taxa de erro de palavras de 6,14% no OpenASR no lançamento (autodeclarada)
- Contexto de 128K tokens; build ONNX oficial
O que não é
- Lançado em fevereiro de 2025, dados de treinamento até junho de 2024
- Visão só em inglês, fala cobre 8 idiomas
- Transcrição recomendada para clipes de 40 segundos ou menos
- Mais trabalho de configuração para servir do que um modelo só de texto
Ideal para
Desenvolvedores que querem um modelo pequeno sob licença MIT para entrada de fala e imagem no dispositivo.
Alternativas ao Phi-4-multimodal
Phi-4-multimodal: perguntas frequentes
- Phi-4-multimodal vale a pena?
- Ainda é o único modelo Phi que ouve fala, mas, com 20 meses de idade, foi superado por modelos multimodais pequenos mais novos. Damos nota 3.3 de 5.
- Quanto custa Phi-4-multimodal?
- Pesos gratuitos sob MIT. Azure AI Foundry: US$ 0,08 de entrada / US$ 0,32 de saída por 1M de tokens de texto ou imagem; entrada de áudio a US$ 4 por 1M.
- Quais são as desvantagens de Phi-4-multimodal?
- Lançado em fevereiro de 2025, dados de treinamento até junho de 2024; visão só em inglês, fala cobre 8 idiomas; transcrição recomendada para clipes de 40 segundos ou menos; mais trabalho de configuração para servir do que um modelo só de texto.
- Para quem Phi-4-multimodal é indicado?
- Desenvolvedores que querem um modelo pequeno sob licença MIT para entrada de fala e imagem no dispositivo.
- Quanto custa Phi-4-multimodal para uma equipe ou em produção?
- No Azure AI Foundry, a entrada de áudio custa US$ 4 por 1M de tokens contra US$ 0,08 para texto e imagens, então a fala domina qualquer conta; a saída custa US$ 0,32 por 1M, as mesmas tarifas do lançamento segundo a lista de preços de varejo do Azure. Auto-hospedar exige uma GPU de data center recente.
- Phi-4-multimodal é seguro para dados da empresa?
- Licença MIT sem teto de receita nem política de uso separada. Auto-hospedado, áudio e imagens ficam no seu hardware; os termos do Azure só se aplicam se você usar o endpoint hospedado da Microsoft.
- Quais são as melhores alternativas ao Phi-4-multimodal?
- As alternativas mais próximas que analisamos são Gemma 4, Phi-4-Reasoning-Vision-15B e Whisper large-v3-turbo.
Respostas verificadas em 26 de out. de 2026.