Allgemeine 3D-Generatoren erzeugen gut Objekte, die auf den ersten Blick stimmen und in den entscheidenden Details falsch sind. Hugging Face hat eine Schritt-für-Schritt-Anleitung veröffentlicht, wie man das bei TRELLIS.2 behebt, einem verbreiteten offenen Modell, das aus einem einzelnen Bild ein texturiertes 3D-Mesh macht, und zwar mit kleinen Zusatzgewichten, die auf eigenen Objekten trainiert werden. Testfall sind Schuhe: Das Basismodell traf das Obermaterial ungefähr, die Sohlen aber nicht.
Die Methode ist LoRA, kurz für Low-Rank Adaptation, die kleine Adaptermatrizen trainiert und das Originalmodell eingefroren lässt. Interessant ist die Entscheidung, wo sie sitzen. TRELLIS.2 arbeitet in Stufen: Es entfernt den Hintergrund, kodiert das Bild mit DINOv3, sagt ein grobes 3D-Belegungsraster voraus, erzeugt die detaillierte Geometrie und fügt zuletzt Materialien hinzu. Die Autoren setzten Adapter nur in die beiden Stufen, die die Form bestimmen, insgesamt etwa 9,3 Millionen trainierbare Parameter, und froren die Materialstufe ein. In ihren Trainingsscans war die Beleuchtung in die Farben eingebacken, ein Training darauf hätte dem Modell beibringen können, Schatten als Oberflächenfarbe zu malen und zu vergessen, was es schon gut konnte.
Die Datenmenge war klein. Aus den 1.030 Objekten der Sammlung Google Scanned Objects nahmen sie 188 Schuhe, hielten neun für Tests zurück und trainierten mit 179, wobei sie von jedem 16 Ansichten in Blender renderten. Die Vorverarbeitung dauerte etwa eine Stunde auf einer A100. Jeder Adapter wurde auf einer A100 mit 80 GB über Hugging Face Jobs trainiert: 7,2 Stunden für die grobe Strukturstufe und 3,6 Stunden für die Formstufe. Docker-Images und Befehle für die eigene GPU liegen bei.
Die Ergebnisse an den neun zurückgehaltenen Schuhen sind deutlich. Der mittlere F-Score, ein Maß dafür, wie genau die erzeugte Oberfläche dem Scan entspricht, stieg von 0,276 auf 0,803. Die Chamfer-Distanz, bei der weniger besser ist, sank von 0,174 auf 0,033, und die Normalenkonsistenz stieg von 0,530 auf 0,804. Das angepasste Modell schlug das Basismodell bei allen neun. Für Teams, die Hugging Face ohnehin für Modelle und Datensätze nutzen, ist das ein praktisches Rezept für jede enge Produktkategorie, von Möbeln bis zu Bauteilen.
Die Grenzen sind klar. Neun Testobjekte sind eine sehr kleine Stichprobe, und die Trainingskurven der Formstufe bewegten sich kaum, weshalb sich die Autoren auf die Vergleiche mit zurückgehaltenen Objekten stützen statt auf den Verlust. Ergebnisse gibt es nur für eine Kategorie, und die Anleitung zeigt nicht, ob Schuh-Adapter andere Objekte verschlechtern. Zudem wurde die Ausgabe des Basismodells vor der Bewertung in der Drehung angepasst.