다채로운 3D 인간 머리 생성과 정밀 제어를 위한 MUNCH

초록

MUNCH는 3D 인간 머리의 형상과 텍스처를 동시에 생성하면서 고품질, 다양성, 세밀한 색상 제어를 제공한다. Geometry Generator가 잠재 공간을 해석해 다양한 형태를 만들고, Render Map Generator가 알베도·글로시·스페큘러·노멀 맵을 물리 기반으로 합성한다. 추가된 Color Transformer Model은 의미 기반 색상 조정을 가능하게 하며, Uniqueness와 Novelty라는 정량적 지표를 도입해 모델 성능을 객관적으로 평가한다.

상세 분석

본 논문은 3D 인간 머리 생성 분야에서 형상‑텍스처 간 상관관계 부족과 제어성 한계를 동시에 해결하려는 시도로서 의미가 크다. Geometry Generator는 기존 GAN 기반 3D 모델링에서 흔히 발생하는 잠재 공간의 혼합 문제를 ‘잠재 방향(disentangled latent directions)’을 탐색함으로써 해소한다. 구체적으로, 고차원 잠재 벡터를 선형 변환 후 PCA 혹은 ICA와 유사한 방법으로 주요 변동 축을 추출하고, 각 축을 독립적인 형태 변형(예: 머리 크기, 턱선, 눈 간격)과 매핑한다. 이 과정은 학습 단계에서 형태 레이블이 없는 무지도 학습으로 수행되지만, 후속 단계에서 인간 전문가가 정의한 의미 라벨과 정합시켜 해석 가능성을 높인다.

Render Map Generator는 물리 기반 렌더링(PBR) 파이프라인에 맞춰 알베도, 글로시, 스페큘러, 노멀 네 개의 맵을 동시에 출력한다. 기존 연구가 단일 텍스처 혹은 제한된 채널만을 생성하던 것과 달리, 멀티채널 출력을 위한 멀티태스크 학습 구조를 채택해 각 맵 간 일관성을 유지한다. 특히, 노멀 맵은 형태 생성 단계와 공유되는 중간 피처를 활용해 기하학적 세부 정보를 보존한다는 점이 돋보인다.

색상 제어를 위한 Color Transformer Model은 ‘semantic color tokens’를 입력받아 원하는 색상 팔레트를 반영한다. 이는 Transformer 기반 인코더‑디코더 구조로, 색상 토큰과 기존 렌더 맵 피처를 교차 어텐션하여 색상 변형을 수행한다. 결과적으로 아티스트는 특정 부위(예: 눈동자, 입술)의 색상을 직관적으로 지정할 수 있다.

성능 평가를 위해 제안된 Uniqueness와 Novelty 지표는 각각 생성 샘플 간의 평균 거리와 훈련 데이터와의 거리 분포를 정량화한다. 두 지표를 가중 평균한 종합 점수는 모델의 다양성·창의성을 한눈에 파악하게 해준다. 실험 결과, MUNCH는 기존 3D 얼굴 생성 모델 대비 Uniqueness와 Novelty에서 12%·15% 향상을 보였으며, 시각적 품질에서도 FID와 LPIPS가 현저히 낮았다.

하지만 몇 가지 한계도 존재한다. 첫째, 잠재 방향 탐색 과정이 고차원 공간에서 지역 최적화에 머물러 전역적인 다양성을 완전히 보장하지 못한다. 둘째, 색상 변환 시 색상 토큰의 정의가 주관적이며, 복합 색상(그라데이션 등) 표현에 제약이 있다. 셋째, 현재 데이터셋은 합성 기반으로 실제 스캔 데이터와의 도메인 갭이 존재해 실사용 환경에서 추가적인 도메인 적응이 필요할 것으로 보인다. 전반적으로 MUNCH는 3D 인간 머리 생성에 새로운 패러다임을 제시했으며, 향후 실제 게임·VR 파이프라인에 적용하기 위한 연구가 기대된다.