O que é SketchVLM?
SketchVLM é o código de um artigo da Universidade de Auburn e da Adobe, aceito na conferência principal do EMNLP 2026, sobre fazer modelos de visão e linguagem apontarem e desenharem como uma pessoa faz ao explicar uma imagem. O método não exige treinamento: coloca uma grade de coordenadas sobre a imagem, pede ao modelo que responda e emita traços SVG em coordenadas da grade, e renderiza esses traços como uma camada que deixa a imagem original intacta e pode ser editada depois.
O repositório roda os experimentos do artigo com Claude, GPT, Gemini ou qualquer modelo do OpenRouter, em modo de um turno ou em um modo de vários turnos no qual o modelo vê a tela depois de cada traço. Inclui os prompts, o código de grade e de renderização, e links para três novos benchmarks no Hugging Face (navegação em labirinto, ligar os pontos e uma tarefa de física de queda de bola) e para uma demo web separada que você pode testar no navegador.
O código é Python, principalmente notebooks Jupyter e scripts, sem arquivo de licença.
SketchVLM vale a pena?
A ideia do SketchVLM é simples o bastante para copiar em uma tarde: colocar uma grade sobre a imagem, pedir a um modelo de ponta traços em coordenadas da grade e desenhá-los. A recompensa é uma resposta que uma pessoa confere de relance, um caminho traçado em um labirinto ou um ponto em cada objeto contado, em vez de uma frase que pode estar errada.
Os números de destaque pedem leitura atenta. O resumo relata ganhos de até 28,5 pontos percentuais em precisão e de até 1,48 vez na qualidade das anotações, mas medidos contra referências de edição de imagem e de desenho ajustadas, como ViLaSR e ThinkMorph, e não contra o mesmo modelo respondendo em texto. Contra o Gemini-3-Pro puro, a própria tabela do artigo é mista: a previsão física no VPCT sobe de 89,3 para 96,0 e a contagem de 93,0 para 94,5, enquanto a queda de bola cai de 83,8 para 79,7 e o labirinto de 99,3 para 98,0. O GPT-5 melhora na maioria das tarefas. Desenhar caixas como traços livres reduziu as notas de detecção dos dois modelos.
Outras descobertas são úteis para quem quer construir sobre ele. Desenhar em vários turnos nunca foi melhor do que em um só e levou cerca de 5,92 vezes mais turnos. A grade ajuda o GPT-5, mas prejudica muito o Gemini em ligar os pontos. O método não funciona com modelos pequenos como o Qwen2.5-VL-7B. A qualidade das anotações foi avaliada por um juiz Gemini com concordância moderada com humanos, um kappa de cerca de 0,51 contra 0,84 entre pessoas.
Como software, é uma publicação de pesquisa: 172 estrelas, 19 forks, dois colaboradores, o último commit em 17 de setembro de 2026 e nenhuma licença, o que por padrão significa que você pode ler o código, mas não reutilizá-lo legalmente. Os conjuntos de dados e a demo web são o que a maioria das equipes vai aproveitar.
Onde ele se destaca
Uma designer de produto em um app de edição de fotos
Mostrar aos usuários para onde a IA está apontando quando dá dicas de edição
Teste a demo hospedada com suas próprias imagens e depois reimplemente o prompt de grade e SVG no seu app; o exemplo de vários turnos do artigo guia um usuário na remoção de um fundo. O custo são as chamadas de API por imagem.
Um pesquisador de aprendizado de máquina que trabalha com raciocínio visual
Avaliar um novo VLM em tarefas que exigem desenhar, não só texto
Baixe do Hugging Face os conjuntos de labirinto, ligar os pontos e queda de bola e rode collab_sketch_with_label.py com --llm openrouter e o seu modelo; os resultados ficam em results/ para comparar com as tabelas do artigo.
Um engenheiro de ML em uma empresa de inspeção industrial
Verificar se um modelo de ponta consegue marcar e contar defeitos de forma confiável
Rode o modo de um turno com --adaptive-grid em uma amostra de imagens rotuladas, com GPT-5 ou Gemini; o artigo sugere que a contagem melhora um pouco enquanto a localização com caixas pode piorar, então meça as duas.
Antes de decidir
- Configuração
- pip install -r requirements.txt, coloque ANTHROPIC_API_KEY, OPENAI_API_KEY ou GOOGLE_API_KEY no .env e rode collab_sketch_with_label.py com um provedor, um modelo e uma pasta de dados.
- Integrações
- APIs da Anthropic, OpenAI, Google Gemini e OpenRouter; conjuntos de dados no Hugging Face; uma demo web separada em TypeScript em LoganBolton/SketchVLM_Demo.
- Dados e privacidade
- Imagens e prompts vão para o provedor de modelos escolhido; os autores não hospedam nada além da demo pública.
- Custo em escala
- Só o gasto com API; no artigo, o modo de vários turnos usou cerca de 5,92 vezes mais turnos que o de um turno, sem ganho de precisão.
- Limites
- Sem licença; sem versões; modelos abertos pequenos não seguem as instruções de desenho; traços livres funcionam pior que caixas para detectar objetos.
O que é bom
- Sem treinamento e funciona com qualquer modelo forte via API
- A camada é SVG editável e não destrutiva
- Três novos benchmarks publicados no Hugging Face
- O artigo relata falhas e limites com honestidade
- Demo web ao vivo para testar sem instalar nada
O que não é
- Sem arquivo de licença, então o código não pode ser reutilizado com segurança
- Os ganhos sobre o modelo base puro são pequenos ou negativos em várias tarefas
- Falha com modelos abertos pequenos como o Qwen2.5-VL-7B
- Scripts de pesquisa, não uma biblioteca nem uma API
Ideal para
Pesquisadores e equipes de produto que exploram como um modelo de visão poderia mostrar o raciocínio sobre uma imagem e querem uma receita testada de prompt e grade como ponto de partida.
SketchVLM: perguntas frequentes
- SketchVLM vale a pena?
- SketchVLM é um jeito engenhoso e barato de fazer um modelo de visão mostrar o raciocínio sobre a imagem, que vale ler e de onde tirar ideias, mas é código de artigo sem licença e seus ganhos são mais estreitos do que o resumo sugere. Damos nota 3.3 de 5.
- Quanto custa SketchVLM?
- O código é público no GitHub sem arquivo de licença, então os direitos de reutilização não estão claros. Rodá-lo custa as chamadas de API ao GPT-5, Gemini, Claude ou modelos do OpenRouter.
- Quais são as desvantagens de SketchVLM?
- Sem arquivo de licença, então o código não pode ser reutilizado com segurança; os ganhos sobre o modelo base puro são pequenos ou negativos em várias tarefas; falha com modelos abertos pequenos como o Qwen2.5-VL-7B; scripts de pesquisa, não uma biblioteca nem uma API.
- Para quem SketchVLM é indicado?
- Pesquisadores e equipes de produto que exploram como um modelo de visão poderia mostrar o raciocínio sobre uma imagem e querem uma receita testada de prompt e grade como ponto de partida.
- Quanto custa SketchVLM para uma equipe ou em produção?
- Só o gasto com API; no artigo, o modo de vários turnos usou cerca de 5,92 vezes mais turnos que o de um turno, sem ganho de precisão.
- SketchVLM é seguro para dados da empresa?
- Imagens e prompts vão para o provedor de modelos escolhido; os autores não hospedam nada além da demo pública.
Respostas verificadas em 3 de nov. de 2026.