Text-to-3D
Le text-to-3D (texte vers 3D) consiste à générer un objet ou une scène en 3D à partir d'un prompt écrit. L'image-to-3D fait la même chose à partir d'une ou plusieurs photos. Le résultat peut être observé sous n'importe quel angle.
Aussi appelé : image-to-3D, 3D generation, AI 3D model generator
Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode
Là où le text-to-image produit une image plate, le text-to-3D produit quelque chose que vous pouvez faire pivoter, éclairer et placer dans un moteur de jeu ou une scène de réalité augmentée. Les formats de sortie incluent les maillages, les neural radiance fields (NeRF) et les Gaussian splats.
Comment ça marche
Les bonnes données d'entraînement en 3D sont rares comparées aux images, si bien que les premières méthodes ont emprunté aux modèles 2D. DreamFusion de Google, en 2022, optimisait un NeRF pour que ses rendus sous des angles aléatoires paraissent corrects aux yeux d'un modèle de diffusion d'images 2D préentraîné. Il ne nécessitait aucune donnée d'entraînement 3D, mais chaque objet demandait une longue optimisation. Les systèmes plus récents sont entraînés sur des jeux de données 3D ou génèrent d'abord plusieurs vues cohérentes puis reconstruisent la forme, ce qui est bien plus rapide. L'image-to-3D fonctionne de la même façon, en partant d'une photo plutôt que d'un prompt.
Usages
Accessoires de jeu, aperçus de produits, filtres de réalité augmentée, prototypage rapide et concept art. Beaucoup d'outils exportent un maillage que vous pouvez nettoyer dans Blender. Les travaux voisins sur la génération de scènes entières explorables sont présentés à la page world model.
Limites
La sortie demande souvent un nettoyage avant la production : topologie désordonnée, éclairage intégré aux textures, textures floues et parfois un objet avec un visage des deux côtés. Les détails mécaniques fins et les dimensions exactes sont des points faibles : la technique convient donc mieux aux ébauches qu'aux pièces qui doivent s'emboîter.
Termes liés
- Text-to-image
- Le text-to-image (texte vers image) consiste à générer une nouvelle image à partir d'une description écrite, appelée prompt. La plupart des modèles text-to-image actuels sont des modèles de diffusion conditionnés par le texte.
- Modèle de diffusion
- Un modèle de diffusion est un modèle génératif qui apprend à transformer du bruit aléatoire en données, comme une image, en retirant un peu de bruit à la fois sur de nombreuses étapes.
- Image vers image
- L'image vers image (image-to-image) est la tâche qui consiste à générer une nouvelle image à partir d'une image existante et d'un prompt, en conservant une partie de la structure de l'original tout en changeant le style, les détails ou le contenu.
- World model
- Un world model (modèle du monde) est un modèle d'IA qui apprend assez bien le fonctionnement d'un environnement pour prédire ce qui va se passer ensuite, souvent à partir de vidéos ou de données de capteurs, afin qu'un agent puisse planifier ou s'entraîner dans la simulation.
- Modèle multimodal
- Un modèle multimodal est un modèle d'IA capable de recevoir, et parfois de produire, plusieurs types de données, comme du texte, des images, de l'audio ou de la vidéo, au sein d'un seul modèle plutôt que par des systèmes séparés.