텍스트 기반 바비 스타일 3D 아바타 생성 프레임워크 DreamBarbie

초록

DreamBarbie는 텍스트 프롬프트만으로 바비 인형과 같은 고품질, 세밀하게 분리된 3D 아바타를 자동 생성한다. G‑Shell 표현을 활용해 몸통·신발·액세서리·시뮬레이션 가능한 의류를 동시에 모델링하고, 각 파트별 전문 diffusion 모델과 다중 기하학적 손실을 결합해 사실적인 형태와 텍스처를 얻는다. 결과물은 고해상도 메쉬, 애니메이션 가능성, 물리 시뮬레이션 호환성을 모두 만족한다.

상세 분석

DreamBarbie는 기존 텍스트‑투‑3D 연구가 직면한 네 가지 핵심 요구사항(고품질, 세분화된 파트 분리, 표현력 있는 애니메이션, 시뮬레이션 호환성)을 동시에 달성하기 위해 두 가지 혁신적인 설계를 도입한다. 첫 번째는 G‑Shell이라는 하이브리드 3D 표현을 사용한다는 점이다. G‑Shell은 기존 DMTet의 SDF와 Marching Tetrahedral Layer를 확장해, watertight(몸통·신발·액세서리)과 non‑watertight(드레이프 의류) 구조를 하나의 템플릿 위에 통합한다. 논문에서는 경계면을 유클리드 거리 교차점으로 재정의하고, SDF 기반 초기화와 “hole‑preserving loss”를 도입해 이미지 입력 없이도 열린 표면을 안정적으로 복구한다. 이 접근법은 기존 NeRF‑기반 방법에 비해 100배 이상의 최적화 속도 향상을 보이며, 초기화 단계에서 발생하던 메쉬 구멍 문제를 크게 감소시킨다.

두 번째 혁신은 파트별 전문가 diffusion 모델을 단계별로 적용한다는 점이다. 바디 생성 단계에서는 인간 전용 텍스처‑aware diffusion 모델과 SMPL‑X‑evolving prior loss를 결합해, 인체 형태와 포즈를 정밀하게 복원한다. 이후 의류·신발·액세서리 파트마다 각각 특화된 diffusion 모델(예: 의류 전용 Stable Diffusion, 신발 전용 DreamBooth 등)을 사용하고, 각 파트의 기하학적 일관성을 유지하기 위해 “surface‑normal alignment loss”, “inter‑part collision loss”, “texture‑consistency loss” 등을 설계한다. 이러한 멀티‑모델 파이프라인은 일반적인 단일 T2I 모델이 야기하는 도메인 간 품질 저하를 방지하고, 파트 간 텍스처 충돌을 최소화한다.

기술적으로는 Score Distillation Sampling(SDS) 손실을 기본으로 삼아 3D 파라미터를 텍스트와 정합시키며, G‑Shell의 mSDF를 이용해 열린 표면의 거리 필드를 정확히 추정한다. 또한, SMPL‑X 파라미터를 직접 최적화함으로써 몸통 메쉬와 의류 메쉬 사이의 스키닝 관계를 사전에 정의하고, 최종 단계에서 전체 아바타를 공동 미세조정해 텍스처 색조와 조명을 일관되게 만든다. 실험 결과, DreamBarbie는 기존 NeRF, 3DGS, SMPL‑X 기반 방법들에 비해 정밀도(F-score), 텍스처 디테일(LPIPS), 그리고 텍스트 일치도(COS)에서 모두 우수한 성능을 보이며, 특히 비워터프루프 의류의 시뮬레이션 가능성을 실증하였다.