Qu’est-ce que SceneMosaic ?
SceneMosaic est le code d'un article de The University of Hong Kong et de la University of Electronic Science and Technology of China. À partir d'une seule image d'intérieur, il segmente les objets avec SAM3, reconstruit chacun en maillage avec SAM 3D Objects, détermine quels objets reposent sur d'autres ou se trouvent dedans, puis laisse des agents fondés sur des modèles vision-langage réparer et varier l'agencement. Le résultat est un ensemble de scènes représentatives en fichiers .glb, prêtes pour un simulateur.
La page du projet indique environ 8 minutes pour une scène de base et environ 2 minutes pour chaque variante supplémentaire. Le dépôt a été créé le 3 septembre 2026, est sous licence MIT et compte environ 110 étoiles et deux commits ; il n'y a aucune version étiquetée et l'article n'est pas sur arXiv, seulement en PDF sur la page du projet.
SceneMosaic vaut-il le coup ?
SceneMosaic se place entre deux approches qui déçoivent ceux qui construisent des mondes d'entraînement pour robots. Les systèmes agentiques texte-vers-3D produisent des scènes soignées mais, selon les auteurs, demandent souvent des heures d'appels d'outils ; les modèles image-vers-3D sont rapides mais laissent des meubles flotter, se heurter ou traverser les murs. SceneMosaic prend la voie rapide pour un premier jet et consacre l'effort des agents à la réparation et à la variété.
Ce qui retient l'attention, c'est la façon de produire de la variété. La scène est découpée en groupes locaux autour d'un objet d'ancrage, une table et ses chaises, une étagère et ses livres, et des agents produisent en parallèle des variantes de chaque groupe. Les groupes sont ensuite combinés de toutes les façons possibles, les combinaisons invalides sont écartées, et une recherche max-min garde un petit ensemble d'agencements qui diffèrent le plus par la position, la distance et la rotation. Une mémoire empêche les agents de défaire et refaire la même modification. Sur la page du projet, cela donne une scène de base en environ 8 minutes et chaque variante supplémentaire en environ 2.
Le point faible, c'est tout ce qui entoure la méthode. Le README demande Linux, un GPU NVIDIA d'au moins 32 Go de VRAM (un pic d'environ 38 Go a été observé), un accès approuvé à deux dépôts de modèles Meta restreints sur Hugging Face et deux environnements Conda distincts, car SAM3 et SAM 3D Objects ne peuvent pas en partager un. La perception, l'extraction des relations et l'évolution appellent un point d'accès de chat compatible OpenAI : chaque scène coûte donc des tokens d'API et envoie votre image à ce fournisseur. La page du projet ne publie aucun benchmark ni comparaison avec des méthodes de référence nommées.
Le dépôt compte deux commits, tous deux du 3 septembre 2026, et aucun ticket. Le README déconseille de mettre à jour le sous-module SAM3 figé, puisque le projet amont est passé à SAM 3.1. Voyez-y une implémentation de référence à lire et reproduire, pas un outil maintenu.
Là où il fait la différence
Un doctorant en robotique qui entraîne une politique de manipulation domestique
Générer des dizaines d'agencements de cuisine différents à partir de quelques photos
Lancez le script de bout en bout sur chaque photo et gardez les six variantes .glb représentatives par scène pour le simulateur. Chaque variante supplémentaire prend environ 2 minutes selon la page du projet ; le coût est du temps GPU et des tokens d'API.
Un laboratoire de vision par ordinateur qui reproduit des travaux de génération de scènes
Comparer une nouvelle méthode d'agencement à une référence agentique hybride
Clonez avec les sous-modules, construisez les deux environnements Conda et lancez les quatre images d'exemple fournies. La reprise par étape conserve la perception et les maillages terminés : seule l'étape étudiée est à relancer.
Avant de vous engager
- Mise en route
- Cloner avec les sous-modules, lancer deux scripts d'installation pour les environnements Conda scenemosaic et sam3, demander l'accès à SAM3 et SAM 3D Objects sur Hugging Face, télécharger les checkpoints, définir OPENAI_API_KEY et lancer la commande verify. Comptez un après-midi.
- Intégrations
- Checkpoints SAM3, SAM 3D Objects, MoGe pour la profondeur et DINOv2 ; tout point d'accès de chat compatible OpenAI via OPENAI_BASE_URL ; matériaux PBR ambientCG en option ; sortie .glb pour les simulateurs.
- Données et confidentialité
- Fonctionne en local sauf les étapes d'agents, qui envoient votre image et les descriptions de scène au point d'accès OpenAI ou à la passerelle configurée. La configuration enregistre les noms des variables d'environnement, pas les valeurs des clés ; le README met en garde contre tout commit de poids ou de tokens Hugging Face.
- Coût à grande échelle
- Aucun coût de licence. Chaque scène demande un GPU de plus de 32 Go (pic observé d'environ 38 Go) et des appels d'API pour la perception, les relations et l'évolution ; le coût en tokens par scène n'est pas publié.
- Limites
- Linux x86-64 uniquement ; le sous-module SAM3 est figé et ne doit pas passer à SAM 3.1 ; pas de benchmarks, de versions ni d'historique de tickets ; les tentatives échouées restent sur disque pour inspection.
Les points forts
- Transforme une photo en plusieurs scènes .glb distinctes, prêtes pour la simulation
- Relations explicites d'appui et de contenance, avec contrôle de gravité et de collisions
- Reprise par étape qui réutilise perception, maillages et relations après un échec
- Licence MIT ; scripts d'installation et commande de vérification
Les points faibles
- Exige un GPU NVIDIA d'au moins 32 Go de VRAM
- Chaque exécution appelle une API payante compatible OpenAI et lui envoie l'image
- Deux commits, aucune version, aucun benchmark publié
- Dépend de modèles Meta restreints, figés sur un ancien SAM3
Idéal pour
Chercheurs en IA incarnée et en robotique qui ont besoin de nombreuses scènes d'intérieur variées et plausibles physiquement, et peuvent lancer de gros calculs GPU.
SceneMosaic : questions fréquentes
- SceneMosaic vaut-il le coup ?
- SceneMosaic tire astucieusement de nombreux agencements de pièce physiquement valides d'une seule photo, mais c'est une publication de recherche en un seul envoi qui exige un GPU de 32 Go, deux environnements Conda et une API de modèle payante. Nous lui donnons 3.3 sur 5.
- Combien coûte SceneMosaic ?
- Gratuit et open source (MIT). Il vous faut un GPU NVIDIA d'au moins 32 Go de VRAM, et vous payez votre propre usage d'une API compatible OpenAI pour les étapes d'agents.
- Quels sont les inconvénients de SceneMosaic ?
- Exige un GPU NVIDIA d'au moins 32 Go de VRAM; chaque exécution appelle une API payante compatible OpenAI et lui envoie l'image; deux commits, aucune version, aucun benchmark publié; dépend de modèles Meta restreints, figés sur un ancien SAM3.
- À qui s’adresse SceneMosaic ?
- Chercheurs en IA incarnée et en robotique qui ont besoin de nombreuses scènes d'intérieur variées et plausibles physiquement, et peuvent lancer de gros calculs GPU.
- Combien coûte SceneMosaic pour une équipe ou en production ?
- Aucun coût de licence. Chaque scène demande un GPU de plus de 32 Go (pic observé d'environ 38 Go) et des appels d'API pour la perception, les relations et l'évolution ; le coût en tokens par scène n'est pas publié.
- SceneMosaic est-il sûr pour les données de l’entreprise ?
- Fonctionne en local sauf les étapes d'agents, qui envoient votre image et les descriptions de scène au point d'accès OpenAI ou à la passerelle configurée. La configuration enregistre les noms des variables d'environnement, pas les valeurs des clés ; le README met en garde contre tout commit de poids ou de tokens Hugging Face.
Réponses vérifiées le 21 nov. 2026.