3D 인체에 옷을 입히는 생성 모델 CAPE

초록

본 논문은 최소 복장 SMPL 모델에 옷 변형을 추가하는 확률적 생성 모델 CAPE를 제안한다. 4D 스캔 데이터로부터 의류 변위를 학습하고, 포즈와 의류 종류를 조건으로 하는 Mesh‑VAE‑GAN 구조를 통해 전역 형태와 주름 같은 미세 디테일을 동시에 재현한다. 결과적으로 다양한 체형·포즈·의류 스타일에 맞는 3D 옷 입힌 인체 메쉬를 샘플링할 수 있다.

상세 분석

CAPE는 기존 SMPL 모델을 그대로 유지하면서, 의류를 “추가적인 변위 레이어”로 정의한다. 이 변위는 정점당 3차원 오프셋으로 표현되며, SMPL의 토폴로지를 그대로 물려받은 그래프 Gₙ에 부착된다. 핵심 기술은 두 단계로 나뉜다. 첫째, 4D 스캔(80 K 프레임, 11명)에서 최소 복장과 옷 입은 상태를 정합하여 정점 변위를 추출한다. 둘째, 변위 그래프를 입력으로 하는 Graph‑CNN 기반 VAE‑GAN을 설계한다. 인코더는 그래프 컨볼루션을 통해 변위의 저차원 잠재 변수 z를 추출하고, 디코더는 z와 포즈 θ, 의류 종류 c를 조건으로 삼아 변위 그래프를 복원한다. VAE 손실은 재구성 오차와 KL 발산을 포함하고, GAN 손실은 3D 메쉬에 대한 패치‑와이즈 판별기를 도입해 주름과 같은 고주파 디테일을 강화한다. 패치‑와이즈 판별기는 메쉬를 작은 서브그래프(패치)로 분할해 로컬 리얼리즘을 평가함으로써 전통적인 전체‑메쉬 판별기보다 세밀한 질감을 학습한다.

조건부 설계 덕분에 동일한 z에 대해 다양한 포즈 θ를 입력하면 포즈‑의존적인 옷 변형이 자동으로 생성된다. 이는 기존 회귀 기반 의류 모델이 단일 결정값을 출력하던 한계를 극복한다. 또한, 의류 종류 c를 원‑핫 혹은 임베딩 벡터로 제공함으로써 쇼츠, 긴바지 등 서로 다른 스타일을 하나의 네트워크에서 동시에 학습한다.

실험에서는 CAPE가 SMPLify에 통합돼 이미지‑기반 3D 복원 품질을 향상시켰으며, 샘플링된 옷의 다양성, 포즈에 따른 주름 변형, 그리고 다른 체형에 대한 일반화 능력을 정량·정성적으로 입증했다. 한계점으로는 현재 옷의 토폴로지를 SMPL과 동일하게 가정해 옷이 몸에 완전히 밀착된 경우에만 정확히 모델링한다는 점과, 매우 복잡한 겹겹이 입은 의류(예: 드레스·코트)에는 확장성이 제한될 수 있다는 점을 언급한다. 향후 연구에서는 다중 토폴로지 지원과 물리 기반 시뮬레이션을 결합한 하이브리드 모델이 제안될 수 있다.