Phi-4-multimodal의 개요
Phi-4-multimodal은 2025년 2월 26일 발표된 Microsoft의 56억(5.6-billion) 파라미터 모델입니다. LoRA 혼합(작은 추가 가중치 세트)으로 Phi-4-mini 언어 모델에 음성과 비전 인코더를 붙여, 하나의 모델이 텍스트, 이미지, 오디오를 받아 텍스트를 씁니다. 컨텍스트는 128K 토큰입니다.
텍스트는 23개 언어, 음성은 8개 언어(영어, 중국어, 독일어, 프랑스어, 이탈리아어, 일본어, 스페인어, 포르투갈어)를 지원하며, 비전은 영어 전용입니다. 학습 데이터는 2024년 6월까지입니다. Microsoft는 전사에는 오디오를 40초, 요약에는 30분 이내로 유지하라고 권합니다.
가중치는 Hugging Face에서 MIT로 제공되며 공식 ONNX 빌드가 있습니다. Azure AI Foundry는 텍스트와 이미지에 1,000 입력 토큰당 $0.00008, 1,000 출력 토큰당 $0.00032, 1,000 오디오 입력 토큰당 $0.004를 받으며, Azure 소매 가격표에 따르면 출시 이후 그대로입니다. 2026년 1월 Microsoft는 동아프리카 6개 언어의 음성 인식을 위한 연구 전용 파인튜닝 모델 Paza를 공개했습니다.
Phi-4-multimodal의 가격은 얼마입니까?
| 플랜 | 가격 | 포함 내용 |
|---|---|---|
| Weights | Free | MIT 라이선스 |
| Text or image tokens | $0.08 in / $0.32 out per 1M tokens | Azure AI Foundry(US East 소매 가격) |
| Audio input | $4 per 1M tokens |
MIT 라이선스의 무료 가중치입니다. Azure AI Foundry: 텍스트 또는 이미지 100만 토큰당 입력 $0.08 / 출력 $0.32, 오디오 입력은 100만 토큰당 $4입니다.
Phi-4-multimodal, 쓸 만한 가치가 있습니까?
Phi-4-multimodal은 지금도 음성을 듣는 Microsoft의 유일한 오픈 모델이며, 이제는 그것이 주된 논거입니다. 출시 당시 Microsoft는 단어 오류율 6.14%로 기존 최고치 6.5%를 넘어 Hugging Face OpenASR 리더보드 1위에 올랐다고 밝혔고, Microsoft 비전 테스트 평균은 72.0으로 같은 표에서 GPT-4o의 72.4에 근접했습니다. 두 수치 모두 자체 보고입니다. Microsoft는 작은 모델이 사실 지식을 덜 담기 때문에 음성 질문 응답에서 Gemini 2.0 Flash와 GPT-4o 실시간 모델에 뒤진다는 점도 인정했습니다.
Microsoft의 이후 Phi 작업은 다른 방향으로 갔습니다. 2026년 1월의 Phi-4-reasoning-vision-15B는 이미지는 읽지만 오디오는 듣지 못합니다. 음성 쪽 후속작은 Paza뿐입니다. 스와힐리어, 칼렌진어, 키쿠유어, 루오어, 마사이어, 소말리어용으로 오디오 구성 요소만 학습한 파인튜닝 모델이며, Microsoft는 추가 테스트 없이 상업적으로 쓰는 것을 권하지 않는 연구용 릴리스로 분류합니다.
경쟁 구도는 바뀌었습니다. 2026년 4월 Apache 2.0으로 나온 Google의 Gemma 4 E2B와 E4B도 휴대폰에 맞는 크기로 오디오와 이미지를 받습니다. Phi-4-multimodal의 비전은 영어 전용이며, Microsoft의 레드팀 테스트에서는 바람직한 수준보다 컨텍스트 조작과 설득에 취약했고, 설득은 프랑스어와 이탈리아어에서 가장 잘 통했습니다.
운영 세부 사항은 리더보드 수치보다 더 주목할 필요가 있습니다. 전사 품질은 최대 40초 클립까지만 보장되고, flash attention에는 Ampere급 이상 GPU가 필요하며, vLLM에는 음성과 비전 LoRA 폴더를 따로 넘겨야 합니다. 음성 메시지보다 긴 오디오는 모델에 들어가기 전에 분할해야 하며, 단어 오류율이 의미를 가지려면 그 연결 작업부터 테스트해야 합니다.
제 역할을 하는 곳
오프라인 현장 점검 앱을 만드는 모바일 개발자
짧은 음성 메모와 사진을 기기에서 하나의 구조화된 보고서로 변환
가중치 한 세트가 두 입력을 모두 읽고, 온디바이스 런타임용 ONNX 빌드가 있습니다. 클립은 40초 미만이어야 하며, Microsoft는 표준 미국 영어 외의 억양에서는 정확도가 떨어진다고 경고합니다.
유럽 보험사의 콘택트센터 분석 책임자
오디오를 클라우드 API로 보내지 않고 독일어, 프랑스어, 스페인어 녹음 통화 요약
Microsoft가 권장하는 A100이나 H100에서 자 체 호스팅하면 요약용으로 최대 30분의 오디오를 받습니다. MIT 라이선스에는 매출 상한이 없지만, 설득 관련 결과를 보면 출력이 고객에게 가기 전에 확인하는 것이 맞습니다.
지원이 부족한 언어를 연구하는 음성 연구자
모델을 처음부터 학습하지 않고 새 언어에 음성 인식 적용
Microsoft 자체 Paza 파인튜닝은 오디오 인코더와 프로젝션 레이어만 풀고 언어 모델은 그대로 뒀습니다. 모델 카드의 음성 파인튜닝 예제는 A100 80GB 한 장에서 돌았습니다.
도입 전 확인할 점
- 설정
- Transformers와 trust_remote_code로 Hugging Face에서 불러옵니다. flash attention에는 Ampere급 이상 GPU가 필요하며, V100에서는 eager attention으로 대체해야 합니다.
- 연동
- Transformers와 vLLM의 OpenAI 호환 서버(음성 및 비전 LoRA 폴더를 따로 지정), 공식 ONNX 빌드, Azure AI Foundry, NVIDIA API 카탈로그.
- 데이터와 개인정보
- 매출 상한이나 별도 사용 정책이 없는 MIT 라이선스입니다. 자체 호스팅하면 오디오와 이미지가 사용자 하드웨어에 남습니다. Azure 약관은 Microsoft의 호스팅 엔드포인트를 쓸 때만 적용됩니다.
- 대규모 사용 시 비용
- Azure AI Foundry에서 오디오 입력은 100만 토큰당 $4로, 텍스트와 이미지의 $0.08보다 비싸 음성이 청구액 대부분을 차지합니다. 출력은 100만 토큰당 $0.32이며, Azure 소매 가격표상 출시 당시와 같은 요율입니다. 자체 호스팅에는 최근 데이터센터 GPU 한 장이 필요합니다.
- 제한
- 컨텍스트는 128K 토큰이지만 오디오는 전사 40초, 요약 30분이 권장됩니다. Microsoft 스스로 밝히듯 음성 질문 응답은 더 큰 모델보다 약합니다.
좋은 점
- 5.6B 모델 하나로 음성, 이미지, 텍스트 입력
- 매출 상한 없는 MIT 라이선스
- 출시 당시 OpenASR 단어 오류율 6.14%(자체 보고)
- 128K 토큰 컨텍스트, 공식 ONNX 빌드
아쉬운 점
- 2025년 2월 출시, 학습 데이터는 2024년 6월까지
- 비전은 영어 전용, 음성은 8개 언어
- 전사는 40초 이하 클립 권장
- 일반 텍스트 모델보다 서비스 설정 작업이 많음
추천 대상
온디바이스 음성 및 이미지 입력용으로 작은 MIT 라이선스 모델을 원하는 개발자.
Phi-4-multimodal 대안
Phi-4-multimodal: 자주 묻는 질문
- Phi-4-multimodal, 쓸 만한 가치가 있습니까?
- 음성을 듣는 유일한 Phi 모델이지만, 출시 20개월이 지나 더 새로운 소형 멀티모달 모델에 추월당했습니다. 평점은 5점 만점에 3.3점입니다.
- Phi-4-multimodal의 가격은 얼마입니까?
- MIT 라이선스의 무료 가중치입니다. Azure AI Foundry: 텍스트 또는 이미지 100만 토큰당 입력 $0.08 / 출력 $0.32, 오디오 입력은 100만 토큰당 $4입니다.
- Phi-4-multimodal의 단점은 무엇입니까?
- 2025년 2월 출시, 학습 데이터는 2024년 6월까지; 비전은 영어 전용, 음성은 8개 언어; 전사는 40초 이하 클립 권장; 일반 텍스트 모델보다 서비스 설정 작업이 많음.
- Phi-4-multimodal에 적합한 사람은 누구입니까?
- 온디바이스 음성 및 이미지 입력용으로 작은 MIT 라이선스 모델을 원하는 개발자.
- 팀이나 프로덕션 환경에서 Phi-4-multimodal의 비용은 얼마입니까?
- Azure AI Foundry에서 오디오 입력은 100만 토큰당 $4로, 텍스트와 이미지의 $0.08보다 비싸 음성이 청구액 대부분을 차지합니다. 출력은 100만 토큰당 $0.32이며, Azure 소매 가격표상 출시 당시와 같은 요율입니다. 자체 호스팅에는 최근 데이터센터 GPU 한 장이 필요합니다.
- Phi-4-multimodal에 회사 데이터를 맡겨도 안전합니까?
- 매출 상한이나 별도 사용 정책이 없는 MIT 라이선스입니다. 자체 호스팅하면 오디오와 이미지가 사용자 하드웨어에 남습니다. Azure 약관은 Microsoft의 호스팅 엔드포인트를 쓸 때만 적용됩니다.
- Phi-4-multimodal의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 Gemma 4, Phi-4-Reasoning-Vision-15B 및 Whisper large-v3-turbo입니다.
답변 확인일: 2026년 10월 26일.