SketchVLM의 개요
SketchVLM은 오번 대학교와 Adobe가 쓴 논문의 코드로, EMNLP 2026 본 학회에 채택되었습니다. 사람이 그림을 설명할 때처럼 시각 언어 모델이 가리키고 그리게 하는 연구입니다. 방법에는 학습이 필요 없습니다. 이미지 위에 좌표 격자를 겹치고, 모델에게 답과 격자 좌표의 SVG 획을 내게 한 뒤, 그 획을 원본 이미지를 건드리지 않는 레이어로 렌더링합니다. 나중에 편집할 수도 있습니다.
저장소는 Claude, GPT, Gemini 또는 OpenRouter의 아무 모델로 논문의 실험을 돌립니다. 한 턴 모드와, 획마다 모델이 캔버스를 보는 여러 턴 모드가 있습니다. 프롬프트, 격자와 렌더링 코드, Hugging Face의 새 벤치마크 세 개(미로 길찾기, 점 잇기, 공 낙하 물리 과제) 링크, 브라우저에서 써 볼 수 있는 별도 웹 데모 링크가 들어 있습니다.
코드는 Python이며 주로 Jupyter 노트북과 스크립트이고, 라이선스 파일은 없습니다.
SketchVLM, 쓸 만한 가치가 있습니까?
SketchVLM의 아이디어는 오후 한나절이면 따라 할 수 있을 만큼 단순합니다. 이미지에 격자를 깔고, 최상위 모델에게 격자 좌표로 획을 달라고 한 뒤, 그것을 그립니다. 그 대가로 틀렸을지도 모르는 문장 대신, 미로에 그린 경로나 센 물체마다 찍은 점처럼 사람이 한눈에 확인할 수 있는 답을 얻습니다.
대표 수치는 꼼꼼히 읽어야 합니다. 초록은 정확도에서 최대 28.5%포인트, 주석 품질에서 최대 1.48배 개선을 보고하지만, 이는 ViLaSR, ThinkMorph 같은 이미지 편집 및 미세 조정된 그리기 기준과 비교한 것이지, 같은 모델이 텍스트로 답할 때와 비교한 것이 아닙니다. 기본 Gemini-3-Pro와 비교하면 논문의 표는 엇갈립니다. VPCT의 물리 예측은 89.3에서 96.0으로, 개수 세기는 93.0에서 94.5로 오르지만, 공 낙하는 83.8에서 79.7로, 미로는 99.3에서 98.0으로 떨어집니다. GPT-5는 대부분의 과제에서 나아집니다. 상자를 자유 획으로 그리게 하자 두 모델 모두 검출 점수가 낮아졌습니다.
이를 바탕으로 무언가를 만들려는 사람에게 쓸모 있는 발견도 있습니다. 여러 턴 그리기는 한 턴보다 나은 적이 없었고 턴 수는 약 5.92배였습니다. 격자는 GPT-5에는 도움이 되지만 점 잇기에서 Gemini를 크게 해칩니다. Qwen2.5-VL-7B 같은 작은 모델에서는 작동하지 않습니다. 주석 품질은 Gemini 심사자가 채점했는데 사람과의 일치도가 보통 수준으로, 카파 약 0.51이었고 사람끼리는 0.84였습니다.
소프트웨어로서는 연구 공개물입니다. 스타 172개, 포크 19개, 기여자 두 명, 마지막 커밋은 2026년 9월 17일이며 라이선스가 없습니다. 기본적으로 코드를 읽을 수는 있지만 법적으로 재사용할 수는 없다는 뜻입니다. 대부분의 팀에게 가장 쓸모 있는 것은 데이터셋과 웹 데모입니다.
제 역할을 하는 곳
사진 편집 앱의 제품 디자이너
AI가 편집 조언을 할 때 어디를 가리키는지 사용자에게 보여 주고 싶다
호스팅된 데모를 내 이미지로 시험한 뒤 격자와 SVG 프롬프트를 내 앱에 다시 구현합니다. 논문의 여러 턴 예시는 사용자가 배경을 지우도록 안내합니다. 비용은 이미지당 API 호출입니다.
시각적 추론을 연구하는 머신러닝 연구자
텍스트뿐 아니라 그리기가 필요한 과제로 새 VLM을 평가하고 싶다
Hugging Face에서 미로, 점 잇기, 공 낙하 데이터셋을 받아 --llm openrouter와 내 모델로 collab_sketch_with_label.py를 실행합니다. 결과는 results/에 저장되어 논문의 표와 비교할 수 있습니다.
산업 검사 회사의 ML 엔지니어
최상위 모델이 결함을 믿을 만하게 표시하고 셀 수 있는지 확인하고 싶다
라벨이 있는 이미지 표본에 GPT-5나 Gemini로 --adaptive-grid를 붙인 한 턴 모드를 실행합니다. 논문에 따르면 개수 세기는 조금 나아지지만 상자로 위치를 찾는 일은 나빠질 수 있으니 둘 다 측정하십시오.
도입 전 확인할 점
- 설정
- pip install -r requirements.txt 후 .env에 ANTHROPIC_API_KEY, OPENAI_API_KEY, GOOGLE_API_KEY 중 하나를 넣고, 제공업체, 모델, 데이터셋 폴더를 지정해 collab_sketch_with_label.py를 실행합니다.
- 연동
- Anthropic, OpenAI, Google Gemini, OpenRouter API. Hugging Face의 데이터셋. LoganBolton/SketchVLM_Demo의 별도 TypeScript 웹 데모.
- 데이터와 개인정보
- 이미지와 프롬프트는 선택한 모델 제공업체로 갑니다. 저자가 호스팅하는 것은 공개 데모뿐입니다.
- 대규모 사용 시 비용
- API 비용만 듭니다. 논문에서 여러 턴 모드는 한 턴 모드보다 약 5.92배 많은 턴을 썼고 정확도 이득은 없었습니다.
- 제한
- 라이선스 없음. 릴리스 없음. 작은 오픈 모델은 그리기 지시를 따르지 못함. 물체 검출에서 자유 획이 상자보다 약함.
좋은 점
- 학습이 필요 없고 강력한 API 모델이면 무엇이든 작동
- 레이어는 원본을 해치지 않는 편집 가능한 SVG
- Hugging Face에 새 벤치마크 세 개 공개
- 논문이 실패와 한계를 정직하게 보고
- 설치 없이 써 보는 라이브 웹 데모
아쉬운 점
- 라이선스 파일이 없어 코드를 안전하게 재사용할 수 없음
- 기본 모델 대비 개선이 여러 과제에서 작거나 마이너스
- Qwen2.5-VL-7B 같은 작은 오픈 모델에서 실패
- 라이브러리나 API가 아닌 연구용 스크립트
추천 대상
시각 모델이 이미지 위에서 추론을 보여 주는 방법을 탐구하며, 출발점으로 검증된 프롬프트와 격자 방식을 원하는 연구자와 제품 팀.
SketchVLM: 자주 묻는 질문
- SketchVLM, 쓸 만한 가치가 있습니까?
- SketchVLM은 시각 모델이 이미지 위에서 풀이 과정을 보여 주게 하는 영리하고 저렴한 방법으로, 읽고 아이디어를 빌릴 만합니다. 다만 라이선스 없는 논문용 코드이며 개선 폭은 초록이 암시하는 것보다 좁습니다. 평점은 5점 만점에 3.3점입니다.
- SketchVLM의 가격은 얼마입니까?
- 코드는 GitHub에 공개되어 있지만 라이선스 파일이 없어 재사용 권리가 불분명합니다. 실행에는 GPT-5, Gemini, Claude 또는 OpenRouter 모델의 API 호출 비용이 듭니다.
- SketchVLM의 단점은 무엇입니까?
- 라이선스 파일이 없어 코드를 안전하게 재사용할 수 없음; 기본 모델 대비 개선이 여러 과제에서 작거나 마이너스; Qwen2.5-VL-7B 같은 작은 오픈 모델에서 실패; 라이브러리나 API가 아닌 연구용 스크립트.
- SketchVLM에 적합한 사람은 누구입니까?
- 시각 모델이 이미지 위에서 추론을 보여 주는 방법을 탐구하며, 출발점으로 검증된 프롬프트와 격자 방식을 원하는 연구자와 제품 팀.
- 팀이나 프로덕션 환경에서 SketchVLM의 비용은 얼마입니까?
- API 비용만 듭니다. 논문에서 여러 턴 모드는 한 턴 모드보다 약 5.92배 많은 턴을 썼고 정확도 이득은 없었습니다.
- SketchVLM에 회사 데이터를 맡겨도 안전합니까?
- 이미지와 프롬프트는 선택한 모델 제공업체로 갑니다. 저자가 호스팅하는 것은 공개 데모뿐입니다.
답변 확인일: 2026년 11월 3일.