실제 NVP로 밀도 추정하기

본 논문은 고차원 연속 데이터의 확률밀도 추정을 위해 **Real-valued Non-Volume Preserving (Real NVP)** 변환을 제안한다. 기존의 확률적 생성 모델은 최대우도 학습이 어려워 근사 추론(VAE)이나 판별기 기반 학습(GAN) 등 복잡한 트레이드오프를 감수해야 했다. Real NVP는 이러한 문제를 근본적으로 회피한다. 데이터 x∈X와 단순한 사전 분포 z∈Z(보통 표준 정규분포) 사이에 가역적 함수 f:X→Z를 학습함으로써, p_X(x)=p_Z(f(x))·|det ∂f/∂x| 라는 정확한 밀도 표현을 얻는다. 여기서 핵심은 **Affine Coupling Layer**이다. 입력을 두 부분(x₁, x₂)로 나누고, x₁은 그대로 두면서 x₂에 대해 스케일 s(x₁)와 시프트 t(x₁)를 적용한다. 변환식은  y₁ = x₁, y₂ = x₂ ⊙ exp(s(x₁)) + t(x₁) 이며, Jacobian은 삼각 행렬이므로 행렬식은 exp(∑ s_i) 로 간단히 계산된다. s와 t는 복잡한 신경망(컨볼루션, Residual, Weight Normalization 등)으로 구현해도 역변환은 동일한 연산 복잡도로 수행 가능하다. 단일 커플링 레이어만으로는 일부 차원만 변환되므로, 저자는 **교차 마스크**(체커보드와 채널‑와이즈)를 교대로 적용해 모든 차원이 충분히 변환되도록 설계하였다. 또한 **다중 스케일 아키텍처**를 도입한다. 이미지 텐서를 2×2 블록으로 묶어 채널 수를 4배 늘리는 **squeezing** 연산을 통해 공간 해상도를 절반으로 줄이고, 각 스케일마다 커플링 레이어와 스케일·시프트 네트워크를 쌓는다. 매 스케일에서 절반의 차원을 가우시안으로 직접 모델링하고 나머지는 다음 스케일로 전달하는 **factor‑out** 메커니즘을 사용해 메모리와 연산량을 크게 절감한다. 학습은 로그우도 최대화 형태로 직접 최적화한다. Jacobian 행렬식이 정확히 계산되므로 변분 하한이나 재구성 손실을 도입할 필요가 없으며, 판별기와의 경쟁적 학습이 없어 안정적인 수렴을 보인다. 샘플링은 Z에서 표준 정규 샘플을 뽑고 f⁻¹을 적용하면 되므로, **샘플링과 역샘플링이 동일한 비용**으로 수행된다. 실험에서는 CIFAR‑10, ImageNet‑32, CelebA, LSUN‑Bedroom 등 네 가지 이미지 데이터셋에 대해 모델을 학습하였다. 로그우도 측면에서 기존 흐름 기반 모델(Glow, NICE)보다 우수한 결과를 기록했으며, 생성된 샘플은 시각적으로 선명하고 다양했다. 잠재 공간에서의 선형 보간, 속성 조작(예: 얼굴의 웃음, 조명 변화) 등도 의미 있게 수행되어, 잠재 표현이 **해석 가능하고 조작 가능**함을 입증하였다. 논문의 주요 기여는 다음과 같다. 1. **가역적 변환을 통한 정확한 밀도 추정**: Jacobian 행렬식이 삼각 형태이므로 효율적인 계산이 가능하고, 이는 최대우도 학습을 직접 적용할 수 있게 한다. 2. **효율적인 샘플링·역샘플링**: 변환과 역변환이 동일한 연산 복잡도를 갖으며, 병렬화가 가능해 실시간 생성에 적합하다. 3. **다중 스케일 구조와 마스크 설계**: 이미지의 지역적 상관관계를 활용해 효율적인 파라미터 공유와 메모리 절감을 달성한다. 4. **해석 가능한 잠재 공간**: VAE와 달리 근사 추론이 없으므로 잠재 변수는 정확히 정의되며, 다양한 조작 실험을 통해 의미 있는 특성들을 캡처한다. 한계점으로는 변환이 전역적으로 가역적이어야 하므로 모델 설계에 제약이 존재하고, 매우 고해상도 이미지에 적용할 경우 메모리 요구량이 여전히 크다는 점이다. 향후 연구에서는 마스크와 스케일링 전략을 더욱 최적화하고, 흐름 기반 모델과 자동회귀·GAN을 결합한 하이브리드 구조를 탐색함으로써 확장성을 높이는 방향이 기대된다.