기하학적 잠재 서브스페이스를 이용한 이산 데이터 생성 모델

초록

본 논문은 범주형 확률분포의 지수 파라미터 공간에 저차원 잠재 서브스페이스를 도입하고, 이를 e‑메트릭 기반 리만 기하학으로 연결하여 흐름 매칭(flow matching) 학습을 효율화한다. GPCA라 명명한 기하학적 PCA를 통해 통계적 의존성을 압축하고, 직선 형태의 지오데시를 이용해 이산 데이터의 생성 모델을 저차원에서 학습한다. 실험에서는 MNIST 등 고차원 이산 데이터에서 차원 축소와 생성 품질을 동시에 달성함을 보였다.

상세 분석

이 논문은 이산 데이터, 특히 범주형 변수들의 공동분포를 다루는 새로운 생성 모델 프레임워크를 제시한다. 핵심 아이디어는 제품 매니폴드(product manifold) 형태의 범주형 확률분포를 지수 파라미터(θ) 공간에 매핑하고, 이 고차원 파라미터 공간에 저차원 선형 서브스페이스 U=span(V)를 정의한다. 여기서 V는 Stiefel 다양체 위에 놓인 직교 기저이며, 차원 d는 전체 파라미터 차원 n(c‑1)보다 훨씬 작다. 파라미터 θ는 θ=V z 형태로 저차원 좌표 z에 의해 완전히 기술된다.

논문은 기존의 Fisher‑Rao 메트릭 대신 e‑메트릭(g_e)을 정의한다. e‑메트릭은 θ‑좌표계에서 단순히 Euclidean 내적을 사용하도록 설계되어, 연결(∇e)과 그에 따른 지오데시가 직선 형태가 된다. 이는 “geodesic = straight line”이라는 성질을 보장해 흐름 매칭 과정에서 복잡한 비선형 보간 대신 선형 보간을 사용할 수 있게 한다. Proposition 3.4와 3.5는 ∂ψ : U → S{nc}가 등거리 임베딩임을 증명하고, 데이터 매니폴드 M=∂ψ(U) 위의 지오데시가 원래 단순체(simplex) 위의 e‑지오데시와 근접함을 보인다.

학습 단계에서는 Bregman 발산 D_{ψ*}를 손실 함수로 사용해 V와 z를 교대로 최적화한다. 이는 각 데이터 포인트 x_i를 ∂ψ(V z_i)와 최대한 가깝게 재구성하도록 하는 최소화 문제이며, GPCA가 데이터의 통계적 의존성을 포착함을 의미한다. 이후 흐름 매칭은 저차원 잠재 공간 Z에서 수행된다. CFM(Conditional Flow Matching) 목표식(18)은 자연 파라미터 θ 공간에서 단순히 (θ_1‑θ_0)와 벡터 필드 v_ψt(θ_t) 사이의 Euclidean 거리 최소화를 의미한다. 따라서 학습은 고차원 확률분포 대신 저차원 유클리드 공간에서 이루어져 계산 효율성이 크게 향상된다.

실험에서는 2‑차원 하이퍼큐브와 MNIST 데이터에 대해 GPCA가 기존 PCA보다 더 많은 이산 점을 정확히 재현하고, 차원 d=30(전체 784 차원)만으로도 시각적으로 의미 있는 임베딩을 제공한다. 또한, GPCA 서브스페이스가 통계적 종속성을 학습함을 보여주는 2‑변수 이진 변수의 테트라헤드론 예시와, ε‑GPCA 가정 하에 흐름 매칭 오차가 제한됨을 정량적으로 검증한다.

이 접근법의 장점은 (1) 고차원 이산 데이터의 효율적 압축, (2) e‑메트릭을 이용한 직선 지오데시로 흐름 매칭의 수학적 단순화, (3) 기존 Fisher‑Rao 기반 방법보다 계산 비용이 낮고 구현이 용이하다는 점이다. 한계점으로는 완전한 비선형 종속성을 포착하기 위해서는 충분히 큰 d가 필요할 수 있으며, e‑메트릭이 실제 데이터 분포와 얼마나 잘 맞는지는 도메인에 따라 달라질 수 있다. 향후 연구에서는 비선형 잠재 매니폴드(예: 커널 GPCA)와의 결합, 그리고 다양한 이산 데이터(텍스트, 그래프)로의 확장이 기대된다.