멀티모달 모델(Multimodal model)
멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.
다른 이름: multimodal AI
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
현재 주력 모델 다수가 멀티모달입니다. 스크린샷, 차트, PDF 페이지를 채팅에 붙여 넣고 그에 관해 질문할 수 있습니다. 일부는 이미지나 음성을 생성하기도 합니다.
작동 방식
흔한 설계는 추가 입력 유형마다 사전 학습된 인코더를 대규모 언어 모델에 연결하는 것입니다. 인코더는 이미지나 오디오 클립을 언어 모델이 텍스트 토큰과 함께 읽을 수 있는 벡터로 바꿉니다. 2022년 DeepMind의 Flamingo는 사전 학습된 비전 전용 모델과 언어 전용 모델을 연결하고, 이미지와 텍스트가 섞인 웹 데이터로 학습해 이를 보여 주었습니다. 처음부터 여러 모달리티로 학습하는 모델도 있습니다.
멀티모달과 비전 언어
비전 언어 모델은 가장 흔한 멀티모달 모델로, 이미지와 텍스트를 다룹니다. "멀티모달"은 더 넓은 용어로, 음성 대 음성 시스템처럼 오디오나 동영상까지 포함할 수 있습니다.
한계
지원 범위가 크게 다릅니다. 이미지를 받아들이지만 출력하지는 못하거나, 오디오를 별도 파이프라인으로만 처리하는 모델도 있습니다. 이미지와 오디오도 컨텍스트 윈도우를 차지하고 비용을 늘립니다. 각 모델이 실제로 무엇을 받아들이는지는 모델 디렉터리에서 확인하십시오.
관련 용어
- 비전 언어 모델(Vision-language model)
- 비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 파운데이션 모델
- 파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
- 음성 대 음성 모델(Speech-to-speech model)
- 음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
- 텍스트 투 이미지(Text-to-image)
- 텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.