マルチモーダルモデル
マルチモーダルモデルとは、テキスト、画像、音声、動画など複数の種類のデータを、別々のシステムではなく1つのモデルの中で受け取り、場合によっては生成できるAIモデルです。
別名: multimodal AI
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
現在の主力モデルの多くはマルチモーダルです。スクリーンショット、グラフ、PDFのページをチャットに貼り付けて、それについて質問できます。画像や音声を生成するモデルもあります。
仕組み
一般的な設計では、追加の入力の種類ごとに事前学習済みのエンコーダーを大規模言語モデルに接続します。エンコーダーは画像や音声クリップを、言語モデルがテキストのトークンと並べて読めるベクトルに変換します。2022年のDeepMindのFlamingoは、事前学習済みの画像専用モデルと言語専用モデルを橋渡しし、画像とテキストが交互に並ぶWebデータで学習することで、これを示しました。最初から複数のモダリティで学習するモデルもあります。
マルチモーダルとビジョン言語の違い
ビジョン言語モデルは最も一般的な種類のマルチモーダルモデルで、画像とテキストを扱います。「マルチモーダル」はより広い用語で、speech-to-speechシステムのような音声や、動画も含みます。
限界
対応状況は大きく異なります。画像を受け付けても出力はできないモデルや、音声を別のパイプラインでしか扱えないモデルもあります。画像や音声はコンテキストウィンドウも消費し、コストを増やします。各モデルが実際に何を受け付けるかは、モデルディレクトリで確認してください。
関連用語
- ビジョン言語モデル(VLM)
- ビジョン言語モデル(vision-language model、VLM)とは、画像とテキストを入力として受け取り、テキストを生成するモデルです。画像を説明し、画像についての質問に答え、文書を読み、スクリーンショットからデータを抽出できます。
- 大規模言語モデル
- 大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
- 基盤モデル
- 基盤モデル(foundation model)とは、幅広いデータで大規模に学習した大きなモデルで、1 つのタスクのために作られるのではなく、プロンプトやファインチューニングによってさまざまな下流のタスクに適応させられるものです。
- Speech-to-speechモデル
- Speech-to-speechモデル(音声対音声モデル)とは、話し言葉の音声を受け取り、いったんテキストに変換して戻すことなく、直接話し言葉の音声を出力するモデルです。リアルタイムの音声会話や翻訳に使われます。
- Text-to-image(画像生成)
- Text-to-image(画像生成)とは、プロンプトと呼ばれる書かれた説明から新しい画像を生成するタスクです。現在のtext-to-imageモデルのほとんどは、テキストで条件付けした拡散モデルです。