SceneMosaicとは?
SceneMosaicは、The University of Hong KongとUniversity of Electronic Science and Technology of Chinaによる論文のコードです。室内の画像1枚から、SAM3で物体を切り分け、SAM 3D Objectsで各物体をメッシュとして再構成し、どの物体がどれの上に載り、どれの中に入っているかを割り出したうえで、視覚言語モデルのエージェントにレイアウトを修正させ、変化を付けさせます。出力はシミュレーターですぐ使える.glbファイル形式の代表的なシーン群です。
プロジェクトページによると、基本シーン1つに約8分、追加のレイアウトバリエーション1つに約2分かかります。リポジトリは2026年9月3日に作成され、MITライセンスで、スターは約110、コミットは2つです。タグ付きリリースはなく、論文はarXivに掲載されておらず、プロジェクトページのPDFだけです。
SceneMosaicは使う価値があるか?
SceneMosaicは、ロボットの学習用ワールドを作る人を失望させてきた2つの手法の中間に位置します。エージェント型のテキストから3Dへの手法は丁寧なシーンを作りますが、著者によれば何時間ものツール呼び出しを要することが多く、画像から3Dへのモデルは速い一方で、家具が浮いたり、ぶつかったり、壁を 突き抜けたりします。SceneMosaicは最初の下書きを速い方法で作り、エージェントの労力を修正と多様化に充てます。
注目すべきは多様性の作り方です。シーンは、テーブルと椅子、棚と本のように、基準となる物体を中心とした局所グループに分けられ、エージェントが各グループのバリエーションを並行して作ります。その後グループをあらゆる組み合わせで合成し、無効な組み合わせを捨て、max-min探索で位置、距離、回転が最も異なるレイアウトを少数残します。メモリーにより、エージェントが同じ編集を取り消してはやり直すことを防ぎます。プロジェクトページでは、これで基本シーンが約8分、追加のバリエーションが約2分です。
弱点は手法の周辺すべてです。READMEはLinux、VRAM 32 GB以上のNVIDIA GPU(ピークで約38 GBを観測)、Hugging Face上のMetaのアクセス制限付きモデルリポジトリ2つへの承認、そして別々のConda環境2つを求めます。SAM3とSAM 3D Objectsは1つの環境を共有できないためです。認識、関係抽出、進化の各段階はOpenAI互換のチャットエンドポイントを呼ぶので、シーンごとにAPIトークンがかかり、画像がその提供者に送られます。プロジェクトページはベンチマークも、名前を挙げた既存手法との比較も公開していません。
リポジトリのコミットは2つで、どちらも2026年9月3日のもので、Issueは1件もありません。READMEは、上流がSAM 3.1に移行したため、固定されたSAM3サブモジュールを更新しないよう警告しています。保守されたツールではなく、読んで再現するための参照実装と考えてください。
真価を発揮する場面
家庭内の物体操作ポリシーを学習させているロボティクスの博士課程学生
数枚の写真から何十種類ものキッチンのレイアウトを作る
写真ごとにエンドツーエンドのスクリプトを実行し、シーンごとに代表的な.glbバリエーション6つをシミュレーター用に残します。プロジェクトページの数値では追加のバリエーション1つに約2分で、費用はGPU時間とAPIトークンです。
シーン生成の研究を再現しているコンピュータービジョンの研究室
新しいレイアウト手法を、ハイブリッドなエージェント型のベースラインと比べる
サブモジュールごとクローンし、2つのConda環境を構築して、同梱の例示画像4枚を実行します。段階単位の再開で完了済みの認識とメッシュが残るため、検証したい段階だけを再実行すれば済みます。
導入前に確認すること
- 導入
- サブモジュールごとクローンし、scenemosaicとsam3のConda環境用インストールスクリプト2つを実行し、Hugging FaceでSAM3とSAM 3D Objectsへのアクセスを申請し、チェックポイントをダウンロードし、OPENAI_API_KEYを設定してverifyコマンドを実行します。半日を見込んでください。
- 連携
- SAM3、SAM 3D Objects、深度推定のMoGe、DINOv2のチェックポイント。OPENAI_BASE_URL経由で任意のOpenAI互換チャットエンドポイント。任意でambientCGのPBRマテリアル。シミュレーター向けの.glb出力。
- データとプライバシー
- エージェント処理以外はローカルで動きます。エージェント処理では画像とシーンの記述がOpenAIのエンドポイントか設定したゲートウェイに送られます。実行時設定には環境変数の名前だけを保存し、キーの値は保存しません。READMEは重みやHugging Faceのトークンを決してコミットしないよう警告しています。
- 大規模利用時のコスト
- ライセンス費用はありません。シーンごとに32 GB超のGPU(観測ピーク約38 GB)と、認識、関係、進化のためのAPI呼び出しが必要です。シーンあたりのトークン費用は公開されていません。
- 制限
- Linux x86-64のみ。SAM3サブモジュールは固定されており、SAM 3.1に更新してはいけません。ベンチマーク、リリース、Issue履歴はなし。失敗した試行は確認用にディスクに残ります。
良い点
- 写真1枚から、シミュレーション用の異なる.glbシーンを複数作る
- 支持と内包の関係を明示し、重力と衝突をチェック
- 段階単位の再開で、失敗後も認識、メッシュ、関係を再利用
- MITライセンス、インストールスクリプトと検証コマンド付き
気になる点
- VRAM 32 GB以上のNVIDIA GPUが必要
- 実行のたびに有料のOpenAI互換APIを呼び、画像を送る
- コミット2つ、リリースなし、公開ベンチマークなし
- 古いSAM3に固定された、Metaのアクセス制限付きモデルに依存
おすすめの人
多様で物理的に妥当な室内シーンを大量に必要とし、大きなGPUジョブを回せる身体性AIやロボティクスの研究者。
SceneMosaic:よくある質問
- SceneMosaicは使う価値があるか?
- SceneMosaicは写真1枚から物理的に妥当な部屋のレイアウトを多数引き出す巧みな方法ですが、1回のプッシュで出された研究公開物で、32 GBのGPU、2つのConda環境、有料のモデルAPIを必要とします。 評価は5点満点中3.3点です。
- SceneMosaicの料金は?
- 無料のオープンソース(MIT)。VRAM 32 GB以上のNVIDIA GPUが必要で、エージェント処理に使うOpenAI互換APIの利用料は自己負担です。
- SceneMosaicの欠点は?
- VRAM 32 GB以上のNVIDIA GPUが必要; 実行のたびに有料のOpenAI互換APIを呼び、画像を送る; コミット2つ、リリースなし、公開ベンチマークなし; 古いSAM3に固定された、Metaのアクセス制限付きモデルに依存.
- SceneMosaicは誰に向いているか?
- 多様で物理的に妥当な室内シーンを大量に必要とし、大きなGPUジョブを回せる身体性AIやロボティクスの研究者。
- チームや本番環境でSceneMosaicを使うと費用はいくらか?
- ライセンス費用はありません。シーンごとに32 GB超のGPU(観測ピーク約38 GB)と、認識、関係、進化のためのAPI呼び出しが必要です。シーンあたりのトークン費用は公開されていません。
- SceneMosaicは企業データを扱っても安全か?
- エージェント処理以外はローカルで動きます。エージェント処理では画像とシーンの記述がOpenAIのエンドポイントか設定したゲートウェイに送られます。実行時設定には環境変数の名前だけを保存し、キーの値は保存しません。READMEは重みやHugging Faceのトークンを決してコミットしないよう警告しています。
回答確認日:2026年11月21日