Text-to-video(動画生成)
Text-to-video(動画生成)とは、書かれたプロンプトから短い動画クリップを生成するタスクです。モデルは、それぞれが正しく見え、しかもフレーム間で一貫して動くフレームを生成しなければなりません。
別名: video generation, T2V, AI video generator
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
Text-to-videoは、text-to-imageに時間という2つ目の課題を加えたものです。良いフレームが1枚あるだけでは足りません。すべてのフレームにわたって、物体は形を保ち、照明は安定し、動きは物理的に自然に見えなければなりません。
仕組み
多くの動画モデルは、画像の拡散モデルから始め、フレームをまたいで見る層を加えます。MetaのMake-A-Videoの論文は、この考え方を簡潔に示しました。見た目はテキストと画像のペアから学び、動きはラベルのない動画から学ぶというものです。Stable Video Diffusionは段階的に学習しました。まず画像で、次に大きな動画のセットで、最後に小さく高品質なセットで学習しています。
実際には
KlingやRunwayのようなホスト型サービスや、Veo 3.1のようなモデルは、プロンプトから数秒のクリップを生成します。多くは静止画を最初のフレームとして受け付けることもでき、これはimage-to-videoです。ほかの選択肢は動画モデルに掲載しています。
限界
クリップは短く、長いシーンは通常つなぎ合わせて作ります。細部、手、文字、因果関係はよく破綻します。1秒に多くのフレームが含まれるため、生成は画像よりはるかに高価です。リアルな出力はディープフェイクの懸念も生みます。
関連用語
- Image-to-video
- Image-to-video(画像からの動画生成)とは、静止画を短い動画クリップに変えるタスクです。通常は画像を最初のフレームとし、テキストのプロンプトで動きを記述します。
- 拡散モデル
- 拡散モデル(diffusion model)とは、多くのステップをかけて少しずつノイズを取り除くことで、ランダムなノイズを画像などのデータに変えることを学ぶ生成モデルです。
- Text-to-image(画像生成)
- Text-to-image(画像生成)とは、プロンプトと呼ばれる書かれた説明から新し い画像を生成するタスクです。現在のtext-to-imageモデルのほとんどは、テキストで条件付けした拡散モデルです。
- リップシンク(AI 動画)
- AI リップシンク(AI lip sync)とは、動画や画像の中の人物の口の動きを、翻訳したセリフや書き直したセリフなどの新しい音声トラックに合うようにモデルで変えることです。
- ディープフェイク
- ディープフェイク(deepfake)とは、AI で作成または改変され、実在の人物、場所、出来事を、実際には起きていない形で本物らしく見せ、本物として通用しうる画像、音声、動画のコンテンツです。
- 世界モデル
- 世界モデル(world model)とは、多くの場合は動画やセンサーのデータから、環境の仕組みを次に何が起こるか予測できるほどに学習したAIモデルです。エージェントはそのシミュレーションの中で計画を立てたり学習したりできます。