Geradores 3D de uso geral são bons em produzir objetos que parecem certos à primeira vista e errados nos detalhes que importam. A Hugging Face publicou um guia passo a passo para corrigir isso no TRELLIS.2, um modelo aberto popular que transforma uma única imagem numa malha 3D com textura, usando pequenos pesos adicionais treinados com seus próprios objetos. O caso de teste são sapatos: o modelo base acertava mais ou menos a parte de cima e errava as solas.
O método é o LoRA, sigla de adaptação de baixo posto, que treina pequenas matrizes adaptadoras deixando o modelo original congelado. A decisão interessante é onde colocá-las. O TRELLIS.2 trabalha em etapas: remove o fundo, codifica a imagem com o DINOv3, prevê uma grade 3D de ocupação aproximada, gera a geometria detalhada e por fim acrescenta os materiais. Os autores só puseram adaptadores nas duas etapas que controlam a forma, cerca de 9,3 milhões de parâmetros treináveis no total, e congelaram a de materiais. Os escaneamentos de treino tinham a iluminação embutida nas cores, então treinar com eles podia ensinar o modelo a pintar sombras como cor de superfície e a esquecer o que já fazia bem.
Os dados eram poucos. Dos 1.030 objetos da coleção Google Scanned Objects, eles pegaram 188 sapatos, reservaram nove para teste e treinaram com 179, renderizando 16 vistas de cada um no Blender. O pré-processamento levou cerca de uma hora numa A100. Cada adaptador foi treinado numa A100 de 80 GB pelo Hugging Face Jobs: 7,2 horas para a etapa de estrutura aproximada e 3,6 horas para a de forma. Há imagens Docker e comandos para fazer o mesmo na sua própria GPU.
Os resultados nos nove sapatos reservados são grandes. O F-score médio, que mede o quanto a superfície gerada se aproxima do escaneamento, subiu de 0,276 para 0,803. A distância de Chamfer, em que menor é melhor, caiu de 0,174 para 0,033, e a consistência de normais subiu de 0,530 para 0,804. O modelo adaptado venceu o base nos nove. Para equipes que já usam a Hugging Face para modelos e dados, é uma receita prática para qualquer categoria estreita de produto, de móveis a peças.
Os limites são claros. Nove objetos de teste são uma amostra muito pequena, e as curvas de treino da etapa de forma quase não se mexeram, por isso os autores se apoiam nas comparações com os objetos reservados, e não na perda. Há resultados para uma única categoria, e o guia não mostra se adaptadores de sapato pioram outros objetos. A comparação também envolveu um ajuste de rotação na saída do modelo base antes da pontuação.