3D 형태 변분 오토인코더를 위한 미니배치 특징 교환 기반 잠재 변수 분리

초록

본 논문은 3D 얼굴·신체 메쉬 생성에 특화된 변분 오토인코더(VAE)를 제안한다. 미니배치 내에서 코, 팔, 다리 등 임의의 부분을 서로 교환해 만든 데이터셋을 이용해, 해당 부분을 담당하는 잠재 변수와 나머지 부분을 담당하는 잠재 변수를 명시적으로 구분하도록 손실 함수를 설계한다. 실험 결과, 기존 β‑VAE, Factor‑VAE, DIP‑VAE 등과 비교해 정체성(Identity) 특성을 효과적으로 분리하면서도 재구성 품질을 유지한다.

상세 분석

이 논문은 3D 메쉬 데이터를 다루는 VAE에 ‘특징 교환(mini‑batch feature swapping)’이라는 새로운 학습 전략을 도입함으로써, 잠재 공간의 구조적 해석 가능성을 크게 향상시킨다. 핵심 아이디어는 동일한 토폴로지를 공유하는 메쉬 집합에서, 사전에 정의된 부분(예: 코, 눈, 팔, 다리 등)을 선택하고, 서로 다른 인스턴스 간에 해당 부분만을 교환해 새로운 미니배치를 구성한다는 것이다. 이렇게 구성된 배치는 두 종류의 관계 정보를 내포한다. 첫째, 같은 인스턴스에서 교환되지 않은 부분은 동일한 잠재 변수(z_c)로 인코딩되어야 한다는 ‘동일성(identical)’ 제약; 둘째, 교환된 부분은 서로 다른 인스턴스이지만 동일한 부분이므로, 해당 부분을 담당하는 잠재 변수(z_f)는 교환 전후에 일관성을 유지해야 한다는 ‘교환 일관성(swap consistency)’ 제약이다.

논문은 이 두 제약을 수식화한 ‘잠재 일관성 손실(latent consistency loss)’을 기존 VAE 손실(L_R 재구성, L_KL KL 발산, L_L 라플라시안 스무딩)과 결합한다. 구체적으로, 각 미니배치 내에서 교환 전후의 z_f 차이를 최소화하고, 교환되지 않은 부분에 대한 z_c 차이 역시 최소화한다. 이 과정은 완전 자가 지도(self‑supervised) 방식이며, 별도의 라벨이나 외부 어노테이션이 필요하지 않다.

아키텍처 측면에서 저자는 Spiral++ convolution 기반의 그래프 컨볼루션을 채택한 최신 3D‑VAE(