汎用の3D生成モデルは、ぱっと見は正しく見えても肝心な細部が間違っている物体を作りがちです。Hugging Faceは、1枚の画像からテクスチャ付きの3Dメッシュを作る人気のオープンモデルTRELLIS.2について、自分の物体で学習させた小さな追加の重みを使ってこれを直す手順を詳しく解説するガイドを公開しました。題材は靴です。ベースモデルは甲の部分はおおむね再現できても、靴底を間違えていました。
手法はLoRA(低ランク適応)で、元のモデルを固定したまま小さなアダプター行列だけを学習させます。興味深いのはどこに入れるかの判断です。TRELLIS.2は段階的に処理します。背景を除き、DINOv3で画像を符号化し、大まかな3Dの占有グリッドを予測し、詳細な形状を生成し、最後に素材を加えます。著者たちは形を決める二つの段階にだけアダプターを入れ、学習するパラメータは合計約930万個で、素材の段階は固定しました。学習用スキャンの色には照明が焼き込まれており、それで学習すると影を表面の色として描くことを覚え、すでに得意だったことを忘れてしまうおそれがあったためです。
データは少量でした。Google Scanned Objectsの1,030個の物体から靴188足を選び、9足を評価用に取り分けて179足で学習し、それぞれBlenderで16方向の画像を描画しました。前処理はA100で約1時間かかりました。各アダプターはHugging Face Jobs上でA100 80 GBを1台使って学習し、大まかな構造の段階は7.2時間、形状の段階は3.6時間でした。自分のGPUで同じことをするためのDockerイメージとコマンドも用意され ています。
取り分けた9足での結果は大きな改善です。生成した表面がスキャンにどれだけ近いかを示す平均Fスコアは0.276から0.803に上がりました。小さいほどよいChamfer距離は0.174から0.033に下がり、法線の一貫性は0.530から0.804に上がりました。調整後のモデルは9足すべてでベースモデルを上回りました。すでにモデルやデータセットでHugging Faceを使っているチームにとって、家具から部品まで、特定の製品カテゴリーに応用できる実用的な手順です。
限界ははっきりしています。評価対象が9個というのはごく小さな標本で、形状段階の学習曲線はほとんど動かなかったため、著者たちは損失ではなく取り分けた物体での比較に頼っています。結果は一つのカテゴリーだけで、靴用のアダプターが他の物体を悪化させるかどうかはガイドでは示されていません。また、採点の前にベースモデルの出力の回転を調整する処理も入っていました。