Les générateurs 3D généralistes savent produire des objets qui semblent justes au premier coup d'œil et faux dans les détails qui comptent. Hugging Face a publié un guide pas à pas pour corriger cela sur TRELLIS.2, un modèle ouvert répandu qui transforme une seule image en maillage 3D texturé, à l'aide de petits poids additionnels entraînés sur vos propres objets. Le cas d'essai porte sur des chaussures : le modèle de base réussissait à peu près le dessus mais ratait les semelles.
La méthode est LoRA, pour adaptation de faible rang, qui entraîne de petites matrices d'adaptation en laissant le modèle d'origine figé. Le choix intéressant porte sur leur emplacement. TRELLIS.2 procède par étapes : il retire l'arrière-plan, encode l'image avec DINOv3, prédit une grille 3D d'occupation grossière, génère la géométrie détaillée puis ajoute les matériaux. Les auteurs n'ont placé des adaptateurs que dans les deux étapes qui contrôlent la forme, environ 9,3 millions de paramètres entraînables au total, et ont figé celle des matériaux. Leurs numérisations d'entraînement avaient l'éclairage intégré aux couleurs, et s'en servir risquait d'apprendre au modèle à peindre les ombres comme une couleur de surface et à oublier ce qu'il faisait déjà bien.
Les données étaient peu nombreuses. Sur les 1 030 objets de la collection Google Scanned Objects, ils ont retenu 188 chaussures, en ont mis neuf de côté pour les tests et ont entraîné sur 179, en effectuant dans Blender 16 rendus de chacune. Le prétraitement a pris environ une heure sur une A100. Chaque adaptateur a été entraîné sur une A100 de 80 GB via Hugging Face Jobs : 7,2 heures pour l'étape de structure grossière et 3,6 heures pour celle de la forme. Des images Docker et des commandes sont fournies pour faire de même sur votre propre GPU.
Les résultats sur les neuf chaussures mises de côté sont nets. Le F-score moyen, qui mesure la proximité entre la surface générée et la numérisation, est passé de 0,276 à 0,803. La distance de Chamfer, où plus bas vaut mieux, est tombée de 0,174 à 0,033, et la cohérence des normales est montée de 0,530 à 0,804. Le modèle adapté a battu le modèle de base sur les neuf. Pour les équipes qui utilisent déjà Hugging Face pour leurs modèles et données, c'est une recette pratique pour toute catégorie de produits étroite, des meubles aux pièces détachées.
Les limites sont claires. Neuf objets de test forment un très petit échantillon, et les courbes d'entraînement de l'étape de forme ont à peine bougé, si bien que les auteurs s'appuient sur les comparaisons avec les objets mis de côté plutôt que sur la perte. Les résultats ne portent que sur une catégorie, et le guide ne montre pas si les adaptateurs pour chaussures dégradent d'autres objets. La comparaison a aussi impliqué un ajustement de rotation de la sortie de base avant notation.