Qu’est-ce que SketchVLM ?
SketchVLM est le code d'un article de l'université d'Auburn et d'Adobe, accepté à la conférence principale de l'EMNLP 2026, qui cherche à faire pointer et dessiner les modèles vision-langage comme une personne qui explique une image. La méthode ne demande aucun entraînement : elle superpose une grille de coordonnées à l'image, demande au modèle de répondre et de produire des traits SVG en coordonnées de grille, puis affiche ces traits sous forme de calque qui laisse l'image d'origine intacte et reste modifiable.
Le dépôt reproduit les expériences de l'article avec Claude, GPT, Gemini ou tout modèle d'OpenRouter, en mode un tour ou en mode plusieurs tours, où le modèle voit la toile après chaque trait. Il contient les prompts, le code de grille et de rendu, et des liens vers trois nouveaux benchmarks sur Hugging Face (navigation dans un labyrinthe, relier les points et une tâche de physique de chute de balle) ainsi que vers une démo web distincte à essayer dans le navigateur.
Le code est en Python, surtout des notebooks Jupyter et des scripts, sans fichier de licence.
SketchVLM vaut-il le coup ?
L'idée de SketchVLM est assez simple pour être reprise en un après-midi : poser une grille sur l'image, demander à un modèle de pointe des traits en coordonnées de grille, et les dessiner. Le bénéfice est une réponse qu'une personne vérifie d'un coup d'œil, un chemin tracé dans un labyrinthe ou un point sur chaque objet compté, plutôt qu'une phrase qui pourrait être fausse.
Les chiffres phares doivent être lus de près. Le résumé annonce des gains allant jusqu'à 28,5 points de pourcentage en précision et jusqu'à 1,48 fois en qualité d'annotation, mais mesurés face à des références d'édition d'image et de dessin affinées comme ViLaSR et ThinkMorph, pas face au même modèle répondant en texte. Face à Gemini-3-Pro seul, le tableau de l'article est contrasté : la prédiction physique sur VPCT passe de 89,3 à 96,0 et le comptage de 93,0 à 94,5, tandis que la chute de balle recule de 83,8 à 79,7 et le labyrinthe de 99,3 à 98,0. GPT-5 progresse sur la plupart des tâches. Dessiner des boîtes en traits libres a fait baisser les scores de détection des deux modèles.
D'autres résultats servent à qui veut s'en inspirer. Le dessin en plusieurs tours n'a jamais fait mieux qu'en un seul et a demandé environ 5,92 fois plus de tours. La grille aide GPT-5 mais pénalise fortement Gemini pour relier les points. La méthode ne fonctionne pas avec de petits modèles comme Qwen2.5-VL-7B. La qualité des annotations a été notée par un juge Gemini dont l'accord avec les humains est modéré, un kappa d'environ 0,51 contre 0,84 entre humains.
Côté logiciel, c'est une publication de recherche : 172 étoiles, 19 forks, deux contributeurs, un dernier commit le 17 septembre 2026 et aucune licence, ce qui signifie par défaut que vous pouvez lire le code mais pas le réutiliser légalement. Les jeux de données et la démo web sont ce dont la plupart des équipes tireront le plus.
Là où il fait la différence
Une designer produit dans une application de retouche photo
Montrer aux utilisateurs ce que l'IA désigne quand elle donne des conseils de retouche
Essayez la démo hébergée avec vos propres images, puis réimplémentez le prompt grille-et-SVG dans votre application ; l'exemple en plusieurs tours de l'article guide un utilisateur pour supprimer un arrière-plan. Le coût correspond aux appels d'API par image.
Un chercheur en apprentissage automatique spécialisé dans le raisonnement visuel
Évaluer un nouveau VLM sur des tâches qui exigent de dessiner, pas seulement d'écrire
Téléchargez sur Hugging Face les jeux labyrinthe, relier les points et chute de balle, puis lancez collab_sketch_with_label.py avec --llm openrouter et votre modèle ; les résultats arrivent dans results/ pour comparaison avec les tableaux de l'article.
Un ingénieur ML dans une entreprise d'inspection industrielle
Vérifier si un modèle de pointe sait marquer et compter les défauts de façon fiable
Lancez le mode un tour avec --adaptive-grid sur un échantillon d'images annotées, avec GPT-5 ou Gemini ; l'article suggère que le comptage s'améliore un peu alors que la localisation par boîtes peut se dégrader, mesurez donc les deux.
Avant de vous engager
- Mise en route
- pip install -r requirements.txt, renseignez ANTHROPIC_API_KEY, OPENAI_API_KEY ou GOOGLE_API_KEY dans .env, puis lancez collab_sketch_with_label.py avec un fournisseur, un modèle et un dossier de données.
- Intégrations
- API d'Anthropic, OpenAI, Google Gemini et OpenRouter ; jeux de données sur Hugging Face ; une démo web distincte en TypeScript dans LoganBolton/SketchVLM_Demo.
- Données et confidentialité
- Images et prompts partent chez le fournisseur de modèles choisi ; les auteurs n'hébergent rien d'autre que la démo publique.
- Coût à grande échelle
- Seulement la dépense d'API ; dans l'article, le mode plusieurs tours a demandé environ 5,92 fois plus de tours que le mode un tour, sans gain de précision.
- Limites
- Pas de licence ; pas de versions ; les petits modèles ouverts ne suivent pas les consignes de dessin ; les traits libres font moins bien que les boîtes pour la détection d'objets.
Les points forts
- Sans entraînement et compatible avec tout modèle performant accessible par API
- Le calque est en SVG modifiable et non destructif
- Trois nouveaux benchmarks publiés sur Hugging Face
- L'article rend compte honnêtement des échecs et des limites
- Démo web en ligne à essayer sans installation
Les points faibles
- Pas de fichier de licence, le code ne peut donc pas être réutilisé en toute sécurité
- Les gains face au modèle de base sont faibles ou négatifs sur plusieurs tâches
- Échoue avec de petits modèles ouverts comme Qwen2.5-VL-7B
- Scripts de recherche, ni bibliothèque ni API
Idéal pour
Les chercheurs et équipes produit qui explorent comment un modèle de vision pourrait montrer son raisonnement sur une image et veulent une recette éprouvée de prompt et de grille comme point de départ.
SketchVLM : questions fréquentes
- SketchVLM vaut-il le coup ?
- SketchVLM est un moyen astucieux et peu coûteux de faire montrer son raisonnement sur l'image à un modèle de vision, qui mérite lecture et inspiration, mais c'est du code d'article sans licence et ses gains sont plus étroits que ne le laisse entendre le résumé. Nous lui donnons 3.3 sur 5.
- Combien coûte SketchVLM ?
- Le code est public sur GitHub sans fichier de licence, les droits de réutilisation sont donc flous. L'exécuter coûte les appels d'API à GPT-5, Gemini, Claude ou à des modèles OpenRouter.
- Quels sont les inconvénients de SketchVLM ?
- Pas de fichier de licence, le code ne peut donc pas être réutilisé en toute sécurité; les gains face au modèle de base sont faibles ou négatifs sur plusieurs tâches; échoue avec de petits modèles ouverts comme Qwen2.5-VL-7B; scripts de recherche, ni bibliothèque ni API.
- À qui s’adresse SketchVLM ?
- Les chercheurs et équipes produit qui explorent comment un modèle de vision pourrait montrer son raisonnement sur une image et veulent une recette éprouvée de prompt et de grille comme point de départ.
- Combien coûte SketchVLM pour une équipe ou en production ?
- Seulement la dépense d'API ; dans l'article, le mode plusieurs tours a demandé environ 5,92 fois plus de tours que le mode un tour, sans gain de précision.
- SketchVLM est-il sûr pour les données de l’entreprise ?
- Images et prompts partent chez le fournisseur de modèles choisi ; les auteurs n'hébergent rien d'autre que la démo publique.
Réponses vérifiées le 3 nov. 2026.