Los generadores 3D de uso general son buenos produciendo objetos que parecen correctos a simple vista y fallan en los detalles que importan. Hugging Face ha publicado una guía paso a paso para corregirlo en TRELLIS.2, un modelo abierto muy usado que convierte una sola imagen en una malla 3D con textura, mediante pequeños pesos adicionales entrenados con tus propios objetos. Su caso de prueba son zapatos: el modelo base acertaba más o menos con la parte superior y fallaba con las suelas.
El método es LoRA, siglas de adaptación de bajo rango, que entrena pequeñas matrices adaptadoras sin tocar el modelo original. La decisión interesante es dónde colocarlas. TRELLIS.2 trabaja por etapas: quita el fondo, codifica la imagen con DINOv3, predice una rejilla 3D de ocupación aproximada, genera la geometría detallada y por último añade los materiales. Los autores solo añadieron adaptadores a las dos etapas que controlan la forma, unos 9,3 millones de parámetros entrenables en total, y congelaron la de materiales. Sus escaneos de entrenamiento tenían la iluminación incorporada en los colores, así que entrenar con ellos podía enseñar al modelo a pintar sombras como color de superficie y a olvidar lo que ya hacía bien.
Los datos eran pocos. De los 1.030 objetos de la colección Google Scanned Objects tomaron 188 zapatos, reservaron nueve para las pruebas y entrenaron con 179, renderizando 16 vistas de cada uno en Blender. El preprocesado llevó alrededor de una hora en una A100. Cada adaptador se entrenó en una A100 de 80 GB mediante Hugging Face Jobs: 7,2 horas para la etapa de estructura aproximada y 3,6 horas para la de forma. Se facilitan imágenes Docker y comandos para hacer lo mismo en tu propia GPU.
Los resultados en los nueve zapatos reservados son grandes. La puntuación F media, que mide cuánto se parece la superficie generada al escaneo, subió de 0,276 a 0,803. La distancia de Chamfer, donde menos es mejor, bajó de 0,174 a 0,033, y la consistencia de normales pasó de 0,530 a 0,804. El modelo adaptado superó al base en los nueve. Para equipos que ya usan Hugging Face para modelos y datos, es una receta práctica para cualquier categoría de producto concreta, de muebles a piezas.
Los límites están claros. Nueve objetos de prueba son una muestra muy pequeña, y las curvas de entrenamiento de la etapa de forma apenas se movieron, por lo que los autores se basan en las comparaciones con los objetos reservados y no en la pérdida. Solo hay resultados para una categoría, y la guía no muestra si los adaptadores de zapatos empeoran otros objetos. La comparación incluyó además un ajuste de rotación de la salida base antes de puntuar.