Was ist SketchVLM?
SketchVLM ist der Code zu einem Paper der Auburn University und von Adobe, angenommen für die Hauptkonferenz der EMNLP 2026, darüber, wie Bild-Sprach-Modelle zeigen und zeichnen können, so wie ein Mensch ein Bild erklärt. Die Methode braucht kein Training: Sie legt ein Koordinatenraster über das Bild, bittet das Modell um eine Antwort und um SVG-Striche in Rasterkoordinaten und rendert diese Striche als Ebene, die das Originalbild unverändert lässt und sich nachträglich bearbeiten lässt.
Das Repository führt die Experimente des Papers mit Claude, GPT, Gemini oder jedem Modell auf OpenRouter aus, im Ein-Runden-Modus oder in einem Mehr-Runden-Modus, in dem das Modell nach jedem Strich die Leinwand sieht. Es enthält die Prompts, den Raster- und Render-Code sowie Links zu drei neuen Benchmarks auf Hugging Face (Labyrinth-Navigation, Punkte verbinden und eine Physikaufgabe mit fallendem Ball) und zu einer separaten Web-Demo, die du im Browser ausprobieren kannst.
Der Code ist Python, überwiegend Jupyter-Notebooks und Skripte, ohne Lizenzdatei.
Lohnt sich SketchVLM?
Die Idee von SketchVLM ist so einfach, dass man sie an einem Nachmittag nachbauen kann: ein Raster über das Bild legen, ein Spitzenmodell um Striche in Rasterkoordinaten bitten und sie zeichnen. Der Gewinn ist eine Antwort, die ein Mensch auf einen Blick prüfen kann, ein eingezeichneter Weg durch ein Labyrinth oder ein Punkt auf jedem gezählten Objekt, statt eines Satzes, der falsch sein könnte.
Die Schlagzeilenzahlen wollen genau gelesen werden. Das Abstract nennt Zugewinne von bis zu 28,5 Prozentpunkten bei der Genauigkeit und bis zum 1,48-Fachen bei der Qualität der Anmerkungen, gemessen aber gegen Bildbearbeitungs- und feinabgestimmte Zeichen-Baselines wie ViLaSR und ThinkMorph, nicht gegen dasselbe Modell, das in Text antwortet. Gegenüber dem reinen Gemini-3-Pro ist die eigene Tabelle des Papers gemischt: Physikvorhersage bei VPCT steigt von 89,3 auf 96,0 und Zählen von 93,0 auf 94,5, während der fallende Ball von 83,8 auf 79,7 und das Labyrinth von 99,3 auf 98,0 sinken. GPT-5 legt bei den meisten Aufgaben zu. Boxen als freie Striche zu zeichnen senkte bei beiden Modellen die Erkennungswerte.
Andere Befunde sind nützlich für alle, die darauf aufbauen wollen. Zeichnen über mehrere Runden war nie besser als in einer Runde und brauchte etwa 5,92-mal so viele Runden. Das Raster hilft GPT-5, schadet Gemini beim Punkteverbinden aber stark. Die Methode funktioniert nicht mit kleinen Modellen wie Qwen2.5-VL-7B. Die Qualität der Anmerkungen bewertete ein Gemini-Richter, dessen Übereinstimmung mit Menschen mäßig war, ein Kappa von etwa 0,51 gegenüber 0,84 zwischen Menschen.
Als Software ist es eine Forschungsveröffentlichung: 172 Sterne, 19 Forks, zwei Mitwirkende, der letzte Commit am 17. September 2026 und keine Lizenz, was standardmäßig heißt, dass du den Code lesen, aber nicht rechtssicher wiederverwenden darfst. Die Datensätze und die Web-Demo sind das, wovon die meisten Teams am meisten haben.
Wo es sich lohnt
Eine Produktdesignerin bei einer Fotobearbeitungs-App
Nutzern zeigen, worauf die KI zeigt, wenn sie Bearbeitungstipps gibt
Die gehostete Demo mit eigenen Bildern ausprobieren und dann den Raster-und-SVG-Prompt in der eigenen App nachbauen; das Mehr-Runden-Beispiel des Papers führt einen Nutzer durch das Entfernen eines Hintergrunds. Kosten sind die API-Aufrufe pro Bild.
Ein Machine-Learning-Forscher im Bereich visuelles Schlussfolgern
Ein neues VLM an Aufgaben messen, die Zeichnen und nicht nur Text verlangen
Die Datensätze zu Labyrinth, Punkteverbinden und fallendem Ball von Hugging Face laden und collab_sketch_with_label.py mit --llm openrouter und dem eigenen Modell ausführen; die Ergebnisse landen in results/ zum Vergleich mit den Tabellen des Papers.
Ein ML-Ingenieur bei einer Firma für industrielle Prüfung
Prüfen, ob ein Spitzenmodell Mängel zuverlässig markieren und zählen kann
Den Ein-Runden-Modus mit --adaptive-grid auf einer Stichprobe beschrifteter Bilder mit GPT-5 oder Gemini laufen lassen; laut Paper verbessert sich das Zählen leicht, während die Lokalisierung per Box schlechter werden kann, also beides messen.
Bevor du dich festlegst
- Einrichtung
- pip install -r requirements.txt, ANTHROPIC_API_KEY, OPENAI_API_KEY oder GOOGLE_API_KEY in .env eintragen, dann collab_sketch_with_label.py mit Anbieter, Modell und Datensatzordner ausführen.
- Integrationen
- APIs von Anthropic, OpenAI, Google Gemini und OpenRouter; Datensätze auf Hugging Face; eine separate Web-Demo in TypeScript unter LoganBolton/SketchVLM_Demo.
- Daten und Datenschutz
- Bilder und Prompts gehen an den gewählten Modellanbieter; die Autoren hosten außer der öffentlichen Demo nichts.
- Kosten im großen Maßstab
- Nur API-Kosten; der Mehr-Runden-Modus brauchte im Paper etwa 5,92-mal so viele Runden wie der Ein-Runden-Modus, ohne Genauigkeitsgewinn.
- Grenzen
- Keine Lizenz; keine Releases; kleine offene Modelle befolgen die Zeichenanweisungen nicht; freie Striche sind bei der Objekterkennung schwächer als Boxen.
Was gut ist
- Ohne Training und mit jedem starken API-Modell nutzbar
- Die Ebene ist zerstörungsfreies, bearbeitbares SVG
- Drei neue Benchmarks auf Hugging Face veröffentlicht
- Das Paper berichtet ehrlich über Fehlschläge und Grenzen
- Live-Web-Demo zum Ausprobieren ohne Einrichtung
Was nicht
- Keine Lizenzdatei, der Code lässt sich also nicht sicher wiederverwenden
- Gewinne gegenüber dem reinen Basismodell sind bei mehreren Aufgaben klein oder negativ
- Scheitert bei kleinen offenen Modellen wie Qwen2.5-VL-7B
- Forschungsskripte, keine Bibliothek und keine API
Am besten für
Forschende und Produktteams, die erkunden, wie ein Bildmodell seinen Gedankengang auf einem Bild zeigen könnte, und ein erprobtes Rezept aus Prompt und Raster als Ausgangspunkt wollen.
SketchVLM: häufige Fragen
- Lohnt sich SketchVLM?
- SketchVLM ist ein cleverer, günstiger Weg, ein Bildmodell seinen Lösungsweg auf dem Bild zeigen zu lassen, lesenswert und eine gute Ideenquelle, aber es ist Paper-Code ohne Lizenz, und seine Gewinne sind schmaler, als das Abstract nahelegt. Wir bewerten es mit 3.3 von 5.
- Was kostet SketchVLM?
- Der Code ist öffentlich auf GitHub, aber ohne Lizenzdatei, die Nutzungsrechte sind also unklar. Die Ausführung kostet die API-Aufrufe an GPT-5, Gemini, Claude oder Modelle auf OpenRouter.
- Welche Nachteile hat SketchVLM?
- Keine Lizenzdatei, der Code lässt sich also nicht sicher wiederverwenden; Gewinne gegenüber dem reinen Basismodell sind bei mehreren Aufgaben klein oder negativ; Scheitert bei kleinen offenen Modellen wie Qwen2.5-VL-7B; Forschungsskripte, keine Bibliothek und keine API.
- Für wen eignet sich SketchVLM?
- Forschende und Produktteams, die erkunden, wie ein Bildmodell seinen Gedankengang auf einem Bild zeigen könnte, und ein erprobtes Rezept aus Prompt und Raster als Ausgangspunkt wollen.
- Was kostet SketchVLM für ein Team oder im Produktivbetrieb?
- Nur API-Kosten; der Mehr-Runden-Modus brauchte im Paper etwa 5,92-mal so viele Runden wie der Ein-Runden-Modus, ohne Genauigkeitsgewinn.
- Ist SketchVLM sicher für Firmendaten?
- Bilder und Prompts gehen an den gewählten Modellanbieter; die Autoren hosten außer der öffentlichen Demo nichts.
Antworten geprüft am 3. Nov. 2026.