리만 다양체 위의 정규화 흐름으로 복잡한 확률밀도 모델링

** 본 논문은 “Normalizing Flows on Riemannian Manifolds”라는 제목 아래, 고차원 확률 모델링에서 널리 사용되는 정규화 흐름(Normalizing Flow, NF) 기법을 리만 다양체라는 비유클리드 공간에 일반화하는 방법을 제시한다. 서론에서는 변분 추론(Variational Inference)과 MCMC가 고차원 베이지안 모델에서 직면하는 근사 한계와, 특히 각도·방향 변수(단백질 접힘, 로봇 관절, 유전자 발현 등)와 관련된 확률분포가 정의되는 다양체에 대한 필요성을 강조한다. 기존 NF, Inverse Autoregressive Flow 등은 전부 ℝⁿ 위에서 정의된 변환을 전제로 하기 때문에, 단순히 다양체 위에 적용하려 하면 차원 보존이 깨져 체적 변환식이 부정확해진다. 다양체 M⊂ℝᵐ는 각 점 x∈M에서 접공간 TₓM의 차원 n을 갖는다. 저자들은 M과 ℝⁿ 사이에 연속적이고 전단사인 홈오몰피즘 φ:ℝⁿ↔M을 가정한다. 이때 φ는 차원을 증가시키는 매핑이므로 Jacobian Jφ∈ℝᵐˣⁿ은 직사각형이다. 전통적인 체적 변환식 d x = |det Jφ| d u는 n=m일 때만 유효하므로, 차원 불일치를 보정하기 위해 미분기하학에서 정의된 메트릭 텐서 G = JφᵀJφ를 도입한다. 이 메트릭은 φ가 정의하는 내재적인 거리 구조를 나타내며, 무한소 부피 변환은 d x = √det G d u 로 표현된다. 식 (1)과 (2)에서 저자들은 이를 확률밀도 변환에 적용해, p_U(u) = f(φ(u))·√det G(u) 형태로 로그밀도 업데이트를 수행한다. 구체적인 사례로 n‑구면 Sⁿ에 역구면 투영(Inverse Stereographic Transform)을 선택한다. φ(u) = (2u/(‖u‖²+1), (‖u‖²−1)/(‖u‖²+1)) 은 ℝⁿ→Sⁿ을 전단사로 매핑한다. 이 변환의 Jacobian 행렬식은 det G = (2/(‖x‖²+1))^{2n} 로 간단히 계산된다. 따라서 ℝⁿ에서 정의된 복잡한 NF(예: RealNVP, Glow 등)를 학습한 뒤, 위 식을 사용해 Sⁿ 위의 목표 밀도로 정확히 변환한다. 실험에서는 S²에 대해 균일 분포를 ℝ²로 투사하고, RealNVP 기반 NF를 적용해 다중모달 밀도를 만든 뒤, 다시 S²로 역투사한다. 결과는 세 가지 곡선으로 시각화된다. (1) 파란색은 500k 샘플을 Monte‑Carlo 커널밀도 추정한 경험적 밀도, (2) 빨강색은 메트릭 보정 √det G을 적용한 이론적 밀도, (3) 초록색은 전통적인 |det J| 보정만 적용한 경우이다. 빨강색과 파란색이 거의 일치함을 통해 제안 방법의 정확성을 입증하고, 초록색이 크게 왜곡된 것을 통해 차원 보존 가정이 깨졌을 때 발생하는 오류를 강조한다. 논문의 주요 기여는 다음과 같다. 첫째, 리만 다양체 위에서의 정규화 흐름을 위한 체적 변환 공식을 일반화하여, 자동미분 프레임워크와 원활히 통합할 수 있게 했다. 둘째, 역구면 투영과 같은 닫힌 형태의 φ를 이용해 실용적인 구현을 가능하게 했으며, 이는 구면뿐 아니라 토러스, 원통 등 다양한 토폴로지에도 확장 가능하다. 셋째, 기존 혼합 모델이나 보조 변수 기반 접근법에 비해 파라미터 효율성이 높고, 변환 자체가 미분 가능하므로 낮은 분산의 경사 추정이 가능하다. 마지막으로, 차원 보존이 깨지는 경우에도 정확한 메트릭 보정을 통해 밀도 추정이 가능함을 이론적·실험적으로 증명했다. 한계점으로는 (1) φ와 φ⁻¹의 닫힌 형태가 존재해야 하며, 복잡한 다양체에서는 이를 찾기 어려울 수 있다. (2) 고차원 다양체에서는 Jacobian 및 메트릭 행렬식 계산 비용이 급증해 실시간 학습에 부담이 될 수 있다. (3) 현재 실험은 구면에 국한돼 있어, 토러스·리치 곡면 등에서의 성능 검증이 추가로 필요하다. 향후 연구에서는 효율적인 근사 Jacobian 계산, 다양한 토폴로지에 대한 자동 φ 설계, 그리고 변분 자동인코더와 결합한 엔드‑투‑엔드 학습을 탐색할 수 있다. **