다중 뷰 깊이 맵을 활용한 3D 형태 모델링 효율화

초록

본 논문은 단일 깊이 이미지로부터 다중 뷰 깊이 맵을 생성하고, 이를 통해 고해상도 3D 객체를 메모리 효율적으로 재구성·생성하는 간단한 인코더‑디코더 프레임워크를 제안한다. 기존 3D 표현 방식의 한계를 극복하고, 2D 이미지용 CNN 구조를 그대로 활용할 수 있다는 점이 핵심이다.

상세 분석

이 연구는 3D 형태를 표현하기 위한 새로운 대안으로 “다중 뷰 깊이 맵(multi‑view depth maps)”을 선택한다. 깊이 맵은 2D 이미지와 동일한 형태의 행렬 구조를 가지므로, 기존에 성공을 거둔 2D 이미지 생성 네트워크(예: StyleGAN‑v2)를 그대로 적용할 수 있다. 논문은 두 개의 주요 모듈, 즉 Identity Encoder와 Viewpoint Generator로 구성된 인코더‑디코더 아키텍처를 설계한다.

1. Identity Encoder는 하나 이상의 입력 깊이 맵을 받아 뷰‑불변(view‑independent) L‑차원 임베딩을 만든다. 학습 시 동일 객체의 서로 다른 뷰를 여러 개 샘플링하고, 각 뷰에 대한 임베딩을 평균(기대값)하여 최종 “정체성 벡터”를 얻는다. 이 과정은 뷰 정보를 자동으로 억제하고 순수한 형태 정보를 추출하도록 강제한다. Encoder는 전형적인 Conv‑Block 구조를 사용하며, 해상도를 4×4까지 점진적으로 축소한다.

2. Viewpoint Generator는 StyleGAN‑v2의 구조를 차용해, 고정된 256×4×4 상수 텐서를 시작점으로 삼는다. Identity Encoder에서 얻은 정체성 벡터는 MLP를 통과해 스타일 벡터로 변환되고, 각 합성 블록에 AdaIN(Adaptive Instance Normalization) 형태로 주입된다. 또한 카테고리 임베딩을 추가해 클래스‑조건부 생성이 가능하도록 설계하였다. 출력은 256개의 이산 깊이값(0‑255) 중 하나를 선택하도록 softmax를 적용한 뒤, 라벨 스무딩(label smoothing)과 KL‑Divergence 손실로 학습한다.

이산 깊이값을 사용한 이유는 연속적인 깊이값을 양자화함으로써 메모리 사용량을 크게 줄이고, 손실 함수가 확률 분포 형태가 되도록 함으로써 학습 안정성을 높이기 위함이다. 논문은 또한 IMLE(Implicit Maximum Likelihood Estimation)를 활용해 정체성 임베딩 공간을 모델링하고, 이를 통해 새로운 3D 형태를 샘플링한다. IMLE는 GAN에서 흔히 발생하는 모드 붕괴와 불안정성을 회피하면서도 고품질 이미지를 생성할 수 있다는 장점을 가진다.

실험에서는 기존의 다중 뷰 깊이 맵 기반 VAE