범용 3D 생성기는 얼핏 보면 맞아 보이지만 중요한 세부가 틀린 물체를 잘 만듭니다. Hugging Face가 한 장의 이미지를 텍스처가 입혀진 3D 메시로 바꾸는 인기 오픈 모델 TRELLIS.2에서, 자신의 물체로 학습한 작은 추가 가중치를 써서 이를 고치는 단계별 가이드를 공개했습니다. 시험 사례는 신발입니다. 기본 모델은 윗부분은 대체로 맞혔지만 밑창은 틀렸습니다.
방법은 LoRA, 즉 저랭크 적응으로, 원래 모델은 고정한 채 작은 어댑터 행렬만 학습합니다. 흥미로운 것은 어디에 넣느냐는 결정입니다. TRELLIS.2는 단계별로 작동합니다. 배경을 지우고, DINOv3로 이미지를 인코딩하고, 대략적인 3D 점유 격자를 예측하고, 세부 형상을 만든 뒤 마지막으로 재질을 입힙니다. 저자들은 형태를 좌우하는 두 단계에만 어댑터를 넣었고, 학습 가능한 매개변수는 모두 약 930만 개이며 재질 단계는 고정했습니다. 학습용 스캔의 색에는 조명이 구워져 있어서, 이것으로 학습하면 그림자를 표면 색으로 칠하고 이미 잘하던 것을 잊어버릴 수 있었기 때문입니다.
데이터는 적었습니다. Google Scanned Objects의 1,030개 물체 중 신발 188개를 골라 9개는 시험용으로 떼어 두고 179개로 학습했으며, 각각 Blender에서 16개 시점으로 렌더링했습니다. 전처리는 A100에서 약 1시간이 걸렸습니다. 각 어댑터는 Hugging Face Jobs에서 A100 80 GB 한 대로 학습했는데, 대략적 구조 단계는 7.2시간, 형상 단계는 3.6시간이었습니다. 자신의 GPU에서 같은 작업을 할 수 있도록 Docker 이미지와 명령어도 제공됩니다.
떼어 둔 신발 9개에서 나온 결과는 큽니다. 생성된 표면이 스캔과 얼마나 가까운지 보여 주는 평균 F 점수는 0.276에서 0.803으로 올랐습니다. 낮을수록 좋은 Chamfer 거리는 0.174에서 0.033으로 떨어졌고, 법선 일관성은 0.530에서 0.804로 올랐습니다. 조정한 모델은 9개 모두에서 기본 모델을 앞섰습니다. 이미 모델과 데이터 세트에 Hugging Face를 쓰는 팀에게는 가구부터 부품까지 좁은 제품 범주에 적용할 수 있는 실용적인 방법입니다.
한계는 분명합니다. 시험 대상 9개는 아주 작은 표본이고, 형상 단계의 학습 곡선은 거의 움직이지 않아서 저자들은 손실 대신 떼어 둔 물체와의 비교에 기댑니다. 결과는 한 범주에 대해서만 나왔고, 신발용 어댑터가 다른 물체를 나쁘게 만드는지는 가이드에 나오지 않습니다. 또한 점수를 매기기 전에 기본 모델 출력의 회전을 조정하는 과정이 들어 있었습니다.