비전 언어 모델(Vision-language model)
비전 언어 모델(vision-language model, VLM)은 이미지와 텍스트를 입력으로 받아 텍스트를 내놓는 모델로, 그림을 설명하고, 그림에 관한 질문에 답하고, 문서를 읽고, 스크린샷에서 데이터를 추출할 수 있습니다.
다른 이름: VLM
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
VLM은 챗봇이 영수증 사진이나 스캔한 계약서를 읽을 수 있게 해 주는 것입니다. 문서 파싱의 핵심 도구이며, 고전적인 OCR을 점점 더 대체하거나 보조합니다.
작동 방식
일반적인 VLM에는 이미지를 벡터 집합으로 바꾸는 비전 인코더, 그 벡터를 언어 모델의 입력 공간에 대응시키는 작은 커넥터, 그리고 이를 텍스트 프롬프트와 함께 읽는 대규모 언어 모델이 있습니다. 2023년의 LLaVA가 잘 알려진 공개 예로, 비전 인코더를 LLM에 연결하고 이미지에 관한 지시 따르기 데이터로 학습했습니다. 2022년 DeepMind의 Flamingo는 스스로를 시각 언어 모델 계열이라고 소개했습니다.
VLM과 OCR
OCR은 픽셀을 문자로 바꿉니다. VLM은 레이아웃, 표, 차트, 손글씨까지 이해하고 이에 관한 질문에 답할 수 있습니다. DeepSeek-OCR 2처럼 문서에 맞게 조정된 VLM도 있습니다.
한계
VLM은 작은 글자를 잘못 읽거나, 빽빽한 표에서 숫자를 뒤섞거나, 이미지에 없는 세부를 묘사할 수 있으며, 이는 시각적 형태의 환각입니다. 추출한 수치는 믿기 전에 확인하십시오. VLM은 멀티모달 모델의 한 종류입니다.
관련 용어
- 멀티모달 모델(Multimodal model)
- 멀티모달 모델(multimodal model)은 텍스트, 이미지, 오디오, 동영상 같은 여러 종류의 데이터를 별도 시스템이 아니라 하나의 모델 안에서 받아들이고, 경우에 따라 생성하기도 하는 AI 모델입니다.
- 광학 문자 인식(OCR)
- 광학 문자 인식(optical character recognition, OCR)은 스캔한 페이지, 사진, 스크린샷 같은 이미지에서 텍스트를 읽어, 검색하거나 복사하거나 모델에 넣을 수 있는 기계 판독 문자로 바꾸는 소프트웨어입니다.
- 문서 파싱
- 문서 파싱(document parsing)은 PDF, 스캔본, 슬라이드, 스프레드시트 같은 파일을 소프트웨어가 쓸 수 있는 구조화된 텍스트로 바꾸는 작업입니다. 평평한 문자열이 아니라 제목, 읽는 순서, 표, 이미지를 유지합니다.
- 환각(AI)
- 환각(hallucination)은 AI 모델의 출력이 유창하고 자신감 있게 들리지만 거짓이거나, 출처의 뒷받침이 없거나, 지어낸 것인 경우를 말합니다. 꾸며 낸 인용, 발언, 통계, API 함수 등이 그 예입니다.
- 표 추출(Table extraction)
- 표 추출(table extraction)은 문서에서 표를 찾아 그 행, 열, 머리글, 셀을 흩어진 텍스트 줄이 아니라 HTML, Markdown, CSV 같은 구조화된 데이터로 다시 만드는 작업입니다.