Text-to-3D
Text-to-3Dとは、書かれたプロンプトから3Dのオブジェクトやシーンを生成するタスクです。Image-to-3Dは、同じことを1枚以上の写真から行います。出力はどの角度からでも見られます。
別名: image-to-3D, 3D generation, AI 3D model generator
執筆 Divya Sharma · 2026年11月15日確認 · レビューの方法
text-to-imageが平面の絵を作るのに対し、text-to-3Dは、回転させ、照明を当て、ゲームエンジンやARのシーンに配置できるものを作ります。出力形式には、メッシュ、ニューラル放射場(NeRF)、ガウシアンスプラットがあります。
仕組み
良質な3Dの学習データは画像に比べて乏しいため、初期の手法は2Dのモデルを借りていました。2022年のGoogleのDreamFusionは、ランダムな角度からのレンダリングが事前学習済みの2D画像拡散モデルにとって正しく見えるようにNeRFを最適化しました。3Dの学習データは不要でしたが、オブジェクトごとに長い最適化の実行が必要でした。新しいシステムは3Dのデータセットで学習するか、まず一貫した複数の視点を生成してから形状を再構築するため、はるかに高速です。Image-to-3Dも同じ仕組みで、プロンプトの代わりに写真から始めます。
用途
ゲームの小道具、製品のプレビュー、ARフィルター、迅速なプロトタイピング、コンセプトアートです。多くのツールは、Blenderで整えられるメッシュを書き出せます。探索できるシーン全体を生成する関連の研究は、世界モデルで扱っています。
限界
出力は、本番で使う前 に手直しが必要なことがよくあります。乱れたトポロジー、焼き込まれた照明、ぼやけたテクスチャ、そして時には両側に顔があるオブジェクトです。細かな機械的ディテールと正確な寸法は弱点なので、ぴったり合わせる必要のある部品より下書きに向いています。
関連用語
- Text-to-image(画像生成)
- Text-to-image(画像生成)とは、プロンプトと呼ばれる書かれた説明から新しい画像を生成するタスクです。現在のtext-to-imageモデルのほとんどは、テキストで条件付けした拡散モデルです。
- 拡散モデル
- 拡散モデル(diffusion model)とは、多くのステップをかけて少しずつノイズを取り除くことで、ランダムなノイズを画像などのデータに変えることを学ぶ生成モデルです。
- Image-to-image
- Image-to-image(画像から画像への生成)とは、既存の画像とプロンプトから新しい画像を生成するタスクです。元の画像の構造の一部を保ちながら、スタイル、細部、内容を変えます。
- 世界モデル
- 世界モデル(world model)とは、多くの場合は動画やセンサーのデータから、環境の仕組みを次に何が起こるか予測できるほどに学習したAIモデルです。エージェントはそのシミュレーションの中で計画を立てたり学習したりできます。
- マルチモーダルモデル
- マルチモーダルモデルとは、テキスト、画像、音声、動画など複数の種類のデータを、別々のシステムではなく1つのモデルの中で受け取り、場合によっては生成できるAIモデルです。