본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

멀티모달 모델(Multimodal model)

멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.

다른 이름: multimodal AI

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

현재 주력 모델 다수가 멀티모달입니다. 스크린샷, 차트, PDF 페이지를 채팅에 붙여 넣고 그에 관해 질문할 수 있습니다. 일부는 이미지나 음성을 생성하기도 합니다.

작동 방식

흔한 설계는 추가 입력 유형마다 사전 학습된 인코더를 대규모 언어 모델에 연결하는 것입니다. 인코더는 이미지나 오디오 클립을 언어 모델이 텍스트 토큰과 함께 읽을 수 있는 벡터로 바꿉니다. 2022년 DeepMind의 Flamingo는 사전 학습된 비전 전용 모델과 언어 전용 모델을 연결하고, 이미지와 텍스트가 섞인 웹 데이터로 학습해 이를 보여 주었습니다. 처음부터 여러 모달리티로 학습하는 모델도 있습니다.

멀티모달과 비전 언어

비전 언어 모델은 가장 흔한 멀티모달 모델로, 이미지와 텍스트를 다룹니다. "멀티모달"은 더 넓은 용어로, 음성 대 음성 시스템처럼 오디오나 동영상까지 포함할 수 있습니다.

한계

지원 범위가 크게 다릅니다. 이미지를 받아들이지만 출력하지는 못하거나, 오디오를 별도 파이프라인으로만 처리하는 모델도 있습니다. 이미지와 오디오도 컨텍스트 윈도우를 차지하고 비용을 늘립니다. 각 모델이 실제로 무엇을 받아들이는지는 모델 디렉터리에서 확인하십시오.

관련 용어

비전 언어 모델(Vision-language model)
비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
파운데이션 모델
파운데이션 모델(foundation model)은 폭넓은 데이터로 대규모 학습한 큰 모델로, 한 가지 작업을 위해 만들어지는 대신 프롬프팅이나 미세 조정을 통해 여러 하위 작업에 맞춰 조정할 수 있습니다.
음성 대 음성 모델(Speech-to-speech model)
음성 대 음성 모델(speech-to-speech model)은 음성을 먼저 텍스트로 바꿨다가 되돌리지 않고, 말소리 오디오를 받아 말소리 오디오를 직접 내놓는 모델입니다. 실시간 음성 대화와 통역에 쓰입니다.
텍스트 투 이미지(Text-to-image)
텍스트 투 이미지(text-to-image)는 프롬프트라고 부르는 글 설명으로부터 새 그림을 생성하는 작업입니다. 현재 대부분의 텍스트 투 이미지 모델은 텍스트를 조건으로 하는 확산 모델입니다.

출처