SketchVLMとは？
SketchVLMは、オーバーン大学とAdobeによる論文のコードで、EMNLP 2026のメインカンファレンスに採択されました。人が画像を説明するときのように、視覚言語モデルに指し示したり描いたりさせる研究です。手法に学習は不要です。画像に座標グリッドを重ね、モデルに答えとグリッド座標でのSVGストロークを出させ、そのストロークを元画像に手を加えないレイヤーとして描画します。後から編集もできます。
リポジトリでは、Claude、GPT、Gemini、またはOpenRouterの任意のモデルで論文の実験を動かせます。1ターンのモードと、ストロークごとにモデルがキャンバスを見る複数ターンのモードがあります。プロンプト、グリッドと描画のコード、Hugging Face上の3つの新しいベンチマーク（迷路の経路探索、点つなぎ、ボール落下の物理課題）へのリンク、ブラウザーで試せる別のWebデモへのリンクが含まれます。
コードはPythonで、主にJupyterノートブックとスクリプトです。ライセンスファイルはありません。
SketchVLMは使う価値があるか？
SketchVLMの発想は、午後のうちに真似できるほど単純です。画像にグリッドを重 ね、最先端のモデルにグリッド座標でストロークを出させ、それを描くだけです。得られるのは、間違っているかもしれない一文ではなく、迷路に引かれた経路や数えた物ごとの点のように、人が一目で確かめられる答えです。
看板の数字は注意深く読む必要があります。概要は精度で最大28.5ポイント、注釈の品質で最大1.48倍の改善を報告していますが、比較対象はViLaSRやThinkMorphのような画像編集やファインチューニング済みの描画手法で、同じモデルがテキストで答える場合ではありません。素のGemini-3-Proと比べると、論文自身の表は一様ではありません。VPCTの物理予測は89.3から96.0に、数え上げは93.0から94.5に上がる一方、ボール落下は83.8から79.7に、迷路は99.3から98.0に下がっています。GPT-5はほとんどの課題で向上します。枠を自由なストロークで描かせると、両モデルとも検出スコアが下がりました。
これを土台にする人に役立つ知見もあります。複数ターンの描画は1ターンを上回ることがなく、ターン数は約5.92倍かかりました。グリッドはGPT-5には効きますが、点つなぎではGeminiを大きく悪化させます。Qwen2.5-VL-7Bのような小さなモデルでは機能しません。注釈の品質はGeminiの評価者が採点しましたが、人との一致は中程度で、カッパ係数は約0.51、人同士では0.84でした。
ソフトウェアとしては研究成果の公開物です。スター172、フォーク19、コントリビューター2人、最後のコミットは2026年9月17日で、ライセンスはありません。既定では、コードを読むことはできても法的に再利用はできないということです。多くのチームにとって最も役立つのはデータセットとWebデモでしょう。
真価を発揮する場面
写真編集アプリのプロダクトデザイナー
AIが編集のアドバイスをするとき、どこを指しているかをユーザーに見せたい
ホストされたデモを自分の画像で試し、グリッドとSVGのプロンプトを自分のアプリに実装し直します。論文の複数ターンの例では、ユーザーを背景の削除まで導いています。費用は画像ごとのAPI呼び出しです。
視覚的推論を研究する機械学習研究者
テキストだけでなく描画が必要な課題で新しいVLMを評価したい
Hugging Faceから迷路、点つなぎ、ボール落下のデータセットを入手し、--llm openrouterと自分のモデルでcollab_sketch_with_label.pyを実行します。結果はresults/に保存され、論文の表と比べられます。
工業検査会社のMLエンジニア
最先端モデルが欠陥を確実に印付けして数えられるか確かめたい
ラベル付き画像のサンプルに対し、GPT-5かGeminiで--adaptive-gridを付けた1ターンモードを実行します。論文によれば数え上げはわずかに良くなる一方、枠による位置特定は悪化しうる ので、両方を測ってください。
導入前に確認すること
- 導入
- pip install -r requirements.txtのあと、.envにANTHROPIC_API_KEY、OPENAI_API_KEY、GOOGLE_API_KEYのいずれかを設定し、プロバイダー、モデル、データセットのフォルダーを指定してcollab_sketch_with_label.pyを実行します。
- 連携
- Anthropic、OpenAI、Google Gemini、OpenRouterのAPI。Hugging Face上のデータセット。LoganBolton/SketchVLM_Demoにある別のTypeScript製Webデモ。
- データとプライバシー
- 画像とプロンプトは選んだモデルプロバイダーに送られます。著者がホストしているのは公開デモだけです。
- 大規模利用時のコスト
- 費用はAPI料金だけです。論文では、複数ターンのモードは1ターンの約5.92倍のターンを使い、精度の向上はありませんでした。
- 制限
- ライセンスなし。リリースなし。小さなオープンモデルは描画の指示に従わない。物体検出では自由なストロークが枠より劣る。
良い点
- 学習不要で、強力なAPIモデルならどれでも使える
- レイヤーは元画像を壊さない編集可能なSVG
- Hugging Faceに3つの新しいベンチマークを公開
- 論文が失敗と限界を正直に報告している
- 準備なしで試せるライブのWebデモ
気になる点
- ライセンスファイルがなく、コードを安心して再利用できない
- 素のベースモデルに対する改善は複数の課題で小さいかマイナス
- Qwen2.5-VL-7Bのような小さなオープンモデルでは失敗する
- ライブラリやAPIではなく研究用スクリプト
おすすめの人
視覚モデルが画像上で推論を見せる方法を探っていて、出発点として検証済みのプロンプトとグリッドの手順がほしい研究者や製品チーム。
SketchVLM：よくある質問
- SketchVLMは使う価値があるか？
- SketchVLMは、視覚モデルに画像上で考えの筋道を見せさせる巧妙で安上がりな方法で、読んでアイデアを借りる価値はあります。ただしライセンスのない論文用コードで、改善幅は概要が示すより狭いものです。 評価は5点満点中3.3点です。
- SketchVLMの料金は？
- コードはGitHubで公開されていますがライセンスファイルがなく、再利用の権利ははっきりしません。実行にはGPT-5、Gemini、Claude、OpenRouterのモデルのAPI料金がかかります。
- SketchVLMの欠点は？
- ライセンスファイルがなく、コードを安心して再利用できない; 素のベースモデルに対する改善は複数の課題で小さいかマイナス; Qwen2.5-VL-7Bのような小さなオープンモデルでは失敗する; ライブラリやAPIではなく研究用スクリプト.
- SketchVLMは誰に向いているか？
- 視覚モデルが画像上で推論を見せる方法を探っていて、出発点として検証済みのプロンプトとグリッドの手順がほしい研究者や製品チーム。
- チームや本番環境でSketchVLMを使うと費用はいくら か？
- 費用はAPI料金だけです。論文では、複数ターンのモードは1ターンの約5.92倍のターンを使い、精度の向上はありませんでした。
- SketchVLMは企業データを扱っても安全か？
- 画像とプロンプトは選んだモデルプロバイダーに送られます。著者がホストしているのは公開デモだけです。
回答確認日：2026年11月3日