¿Qué es SketchVLM?
SketchVLM es el código de un artículo de la Universidad de Auburn y Adobe, aceptado en la conferencia principal de EMNLP 2026, sobre cómo lograr que los modelos de visión y lenguaje señalen y dibujen como hace una persona al explicar una imagen. El método no requiere entrenamiento: superpone una cuadrícula de coordenadas a la imagen, pide al modelo que responda y que emita trazos SVG en coordenadas de la cuadrícula, y dibuja esos trazos como una capa que deja intacta la imagen original y puede editarse después.
El repositorio reproduce los experimentos del artículo con Claude, GPT, Gemini o cualquier modelo de OpenRouter, en modo de un solo turno o en un modo de varios turnos en el que el modelo ve el lienzo tras cada trazo. Incluye los prompts, el código de cuadrícula y de renderizado, y enlaces a tres benchmarks nuevos en Hugging Face (navegación por laberintos, unir los puntos y una tarea de física de caída de bolas) y a una demo web aparte que puedes probar en el navegador.
El código es Python, sobre todo cuadernos de Jupyter y scripts, sin archivo de licencia.
¿Merece la pena SketchVLM?
La idea de SketchVLM es tan sencilla que se puede copiar en una tarde: poner una cuadrícula sobre la imagen, pedir a un modelo de frontera trazos en coordenadas de la cuadrícula y dibujarlos. La recompensa es una respuesta que una persona puede comprobar de un vistazo, un camino trazado en un laberinto o un punto sobre cada objeto contado, en lugar de una frase que podría estar equivocada.
Las cifras destacadas hay que leerlas con cuidado. El resumen informa de mejoras de hasta 28,5 puntos porcentuales en precisión y de hasta 1,48 veces en calidad de anotación, pero se miden frente a referencias de edición de imágenes y de dibujo ajustadas como ViLaSR y ThinkMorph, no frente al mismo modelo respondiendo en texto. Frente a Gemini-3-Pro sin más, la propia tabla del artículo es dispar: la predicción física en VPCT sube de 89,3 a 96,0 y el conteo de 93,0 a 94,5, mientras que la caída de bolas baja de 83,8 a 79,7 y el laberinto de 99,3 a 98,0. GPT-5 mejora en la mayoría de tareas. Dibujar cajas como trazos libres redujo las puntuaciones de detección de ambos modelos.
Otros hallazgos son útiles para quien quiera construir sobre él. Dibujar en varios turnos nunca fue mejor que en uno solo y necesitó unas 5,92 veces más turnos. La cuadrícula ayuda a GPT-5 pero perjudica mucho a Gemini en unir los puntos. El método no funciona con modelos pequeños como Qwen2.5-VL-7B. La calidad de las anotaciones la puntuó un juez Gemini con un acuerdo moderado con las personas, un kappa de alrededor de 0,51 frente a 0,84 entre personas.
Como software, es una publicación de investigación: 172 estrellas, 19 forks, dos colaboradores, el último commit el 17 de septiembre de 2026 y sin licencia, lo que por defecto significa que puedes leer el código pero no reutilizarlo legalmente. Los conjuntos de datos y la demo web son lo que más aprovecharán la mayoría de equipos.
Dónde se gana su sitio
Una diseñadora de producto en una app de edición de fotos
Mostrar a los usuarios a dónde apunta la IA cuando da consejos de edición
Prueba la demo alojada con tus propias imágenes y luego reimplementa el prompt de cuadrícula y SVG en tu app; el ejemplo de varios turnos del artículo guía a un usuario para quitar un fondo. El coste son las llamadas a la API por imagen.
Un investigador de aprendizaje automático que trabaja en razonamiento visual
Evaluar un VLM nuevo en tareas que requieren dibujar, no solo texto
Descarga de Hugging Face los conjuntos de laberinto, unir los puntos y caída de bolas y ejecuta collab_sketch_with_label.py con --llm openrouter y tu modelo; los resultados quedan en results/ para compararlos con las tablas del artículo.
Un ingeniero de ML en una empresa de inspección industrial
Comprobar si un modelo de frontera puede marcar y contar defectos de forma fiable
Ejecuta el modo de un turno con --adaptive-grid sobre una muestra de imágenes etiquetadas, con GPT-5 o Gemini; el artículo sugiere que el conteo mejora un poco mientras que la localización con cajas puede empeorar, así que mide ambas cosas.
Antes de decidirte
- Puesta en marcha
- pip install -r requirements.txt, pon ANTHROPIC_API_KEY, OPENAI_API_KEY o GOOGLE_API_KEY en .env y ejecuta collab_sketch_with_label.py con un proveedor, un modelo y una carpeta de datos.
- Integraciones
- APIs de Anthropic, OpenAI, Google Gemini y OpenRouter; conjuntos de datos en Hugging Face; una demo web aparte en TypeScript en LoganBolton/SketchVLM_Demo.
- Datos y privacidad
- Las imágenes y los prompts van al proveedor de modelos que elijas; los autores no alojan nada salvo la demo pública.
- Coste a escala
- Solo el gasto en API; en el artículo, el modo de varios turnos usó unas 5,92 veces más turnos que el de uno solo, sin beneficio en precisión.
- Límites
- Sin licencia; sin versiones; los modelos abiertos pequeños no siguen las instrucciones de dibujo; los trazos libres funcionan peor que las cajas para detectar objetos.
Lo bueno
- Sin entrenamiento y funciona con cualquier modelo potente vía API
- La capa es SVG editable y no destructiva
- Tres benchmarks nuevos publicados en Hugging Face
- El artículo informa con honestidad de fallos y límites
- Demo web en directo para probar sin instalar nada
Lo malo
- Sin archivo de licencia, así que el código no se puede reutilizar con seguridad
- Las mejoras frente al modelo base son pequeñas o negativas en varias tareas
- Falla con modelos abiertos pequeños como Qwen2.5-VL-7B
- Scripts de investigación, no una librería ni una API
Ideal para
Investigadores y equipos de producto que exploran cómo un modelo de visión podría mostrar su razonamiento sobre una imagen y quieren una receta probada de prompt y cuadrícula como punto de partida.
SketchVLM: preguntas frecuentes
- ¿Merece la pena SketchVLM?
- SketchVLM es una forma ingeniosa y barata de que un modelo de visión muestre su razonamiento sobre la imagen, que vale la pena leer y de la que tomar ideas, pero es código de artículo sin licencia y sus mejoras son más limitadas de lo que sugiere el resumen. Le damos un 3.3 sobre 5.
- ¿Cuánto cuesta SketchVLM?
- El código es público en GitHub sin archivo de licencia, así que los derechos de reutilización no están claros. Ejecutarlo cuesta las llamadas a la API de GPT-5, Gemini, Claude o modelos de OpenRouter.
- ¿Qué inconvenientes tiene SketchVLM?
- Sin archivo de licencia, así que el código no se puede reutilizar con seguridad; las mejoras frente al modelo base son pequeñas o negativas en varias tareas; falla con modelos abiertos pequeños como Qwen2.5-VL-7B; scripts de investigación, no una librería ni una API.
- ¿Para quién es SketchVLM?
- Investigadores y equipos de producto que exploran cómo un modelo de visión podría mostrar su razonamiento sobre una imagen y quieren una receta probada de prompt y cuadrícula como punto de partida.
- ¿Cuánto cuesta SketchVLM para un equipo o en producción?
- Solo el gasto en API; en el artículo, el modo de varios turnos usó unas 5,92 veces más turnos que el de uno solo, sin beneficio en precisión.
- ¿Es SketchVLM seguro para los datos de la empresa?
- Las imágenes y los prompts van al proveedor de modelos que elijas; los autores no alojan nada salvo la demo pública.
Respuestas comprobadas el 3 nov 2026.