ビジョン言語モデル(VLM)
ビジョン言語モデル(vision-language model、VLM)とは、画像とテキストを入力として受け取り、テキストを生成するモデルです。画像を説明し、画像についての質問に答え、文書を読み、スクリーンショットからデータを抽出できます。
別名: VLM
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
チャットボットがレシートの写真やスキャンした契約書を読めるのは、VLMのおかげです。VLMは文書解析の中核となるツールで、従来のOCRを置き換えたり補ったりすることが増えています。
仕組み
典型的なVLMは、画像をベクトルの集合に変えるビジョンエンコーダー、そのベクトルを言語モデルの入力空間に対応付ける小さなコネクター、そしてテキストのプロンプトと並べてそれを読む大規模言語モデルからなります。2023年のLLaVAはよく知られたオープンな例で、ビジョンエンコーダーをLLMに接続し、画像についての指示追従データで学習しました。2022年のDeepMindのFlamingoは、自らを視覚言語モデルのファミリーと説明していました。
VLMとOCRの違い
OCRはピクセルを文字に変えます。VLMはさらに、レイアウト、表、グラフ、手書きを理解し、それについての質問に答えられます。DeepSeek-OCR 2のように、文書向けに調整されたVLMもあります。
限界
VLMは、小さな文字を読み違えたり、密な表の数字を取り違えたり、画像にない細部を説明したりすることがあります。これは視覚的な形のハルシネーションです。抽出した数字は、頼る前に確認してください。VLMはマルチモーダルモデルの一種です。
関連用語
- マルチモーダルモデル
- マルチモーダルモデルとは、テキスト、画像、音声、動画など複数の種類のデータを、別々のシステムではなく1つのモデルの中で受け取り、場合によっては生成できるAIモデルです。
- 光学文字認識(OCR)
- 光学文字認識(OCR)とは、スキャンしたページ、写真、スクリーンショットなどの画像からテキストを読み取り、検索、コピー、モデルへの入力ができる機械可読の文字に変換するソフトウェアです。
- 文書解析
- 文書解析(document parsing)とは、PDF、スキャン画像、スライド、スプレッドシートなどのファイルを、ソフトウェアで使える構造化されたテキストに変換することです。単なる文字の羅列ではなく、見出し、読む順序、表、画像を保ちます。
- ハルシネーション(AI)
- ハルシネーション(hallucination)とは、流暢で自信ありげに聞こえるものの、誤っている、情報源に裏付けられていない、あるいは作り話である AI モデルの出力です。架空の引用文献、発言、統計、API の関数などがその例です。
- 表抽出
- 表抽出(table extraction)とは、文書の中から表を見つけ、その行、列、見出し、セルを、ばらばらのテキストの行ではなく、HTML、Markdown、CSVなどの構造化データとして再構築するタスクです。