다중 가역 및 부분 등변 변환을 통한 VAE 잠재 벡터 분리 강화

초록

본 논문은 VAE의 잠재 공간에서 부분 등변성을 유지하면서 가역적인 변환을 수행하고, 이를 지수족(Exponential Family)으로 확장하는 MIPE‑Transformation을 제안한다. IPE‑Transformation은 대칭 행렬 지수함수를 이용해 변환의 가역성과 부분 등변성을 보장하고, EF‑Conversion은 학습 가능한 매핑을 통해 표준 가우시안 prior를 보다 유연한 지수족 prior로 변환한다. 3D Cars, 3D Shapes, dSprites 데이터셋 실험에서 최신 VAE 모델 대비 disentanglement 지표가 일관되게 향상됨을 보인다.

상세 분석

MIPE‑Transformation은 두 개의 핵심 모듈, 즉 Invertible & Partial‑Equivariant Transformation (IPE‑Transformation)과 Exponential‑Family Conversion (EF‑Conversion)으로 구성된다. IPE‑Transformation은 잠재 벡터 z 를 변환된 잠재 벡터 \hat{z} 로 매핑하는 함수 ψ(z)=e^{M}·z 를 사용한다. 여기서 M 은 실수 행렬이며, 행렬 지수 e^{M} 는 항상 가역성을 보장한다. 논문은 대칭 행렬 S∈Sym_n(ℝ) 에 대해 e^{S} 가 교환군(abelian group)을 형성함을 정리 4.1‑4.3을 통해 증명한다. 이로써 ψ는 특정 대칭군 G_S 에 대해 완전 등변(equivariant)이며, 입력‑잠재 공간 사이의 부분 등변성(partial‑equivariance)을 유지한다. 부분 등변성은 데이터 변환 g∈G_J 가 잠재 변환 ψ 와 결합될 때 ψ(g·z)=g·ψ(z) 가 성립함을 의미한다. 이러한 성질은 기존 VAE가 고정된 가우시안 prior에 의존하면서 발생하는 “분리 불가능성”을 완화한다.

EF‑Conversion은 변환된 잠재 분포 p(\hat{z}) 를 지수족 형태 p(\hat{z}|θ)=exp(θᵀT(\hat{z})−A(θ)+B(\hat{z})) 로 매핑한다. 논문은 자연 파라미터 θ 를 다층 퍼셉트론(NPG)으로 학습시키고, 지수족의 공액 사전(conjugate prior) q(θ|ξ,ν) 을 동시에 최적화한다. 이를 통해 KL divergence 손실 L_kl 과 정규화 손실 L_cali 를 포함한 총 손실 L_total=L_recon+β·L_kl+γ·L_cali 을 정의한다. 중요한 점은 EF‑Conversion이 가우시안 prior에 얽매이지 않고, 데이터에 맞는 복잡한 분포(예: 혼합 가우시안, Student‑t 등)를 근사할 수 있다는 것이다.

실험에서는 기존 β‑VAE, FactorVAE, β‑TCVAE 등에 MIPE 모듈을 플러그인 형태로 삽입하였다. 3D Cars와 3D Shapes는 회전·조명·색상 등 연속적인 변형 요인이 다수 존재하는 고차원 데이터이며, dSprites는 이산·연속 요인이 명확히 구분되는 베이스라인이다. 모든 데이터셋에서 MIG, SAP, DCI와 같은 분리 지표가 평균 5‑12 % 정도 상승했으며, 시각적으로도 각 잠재 차원이 특정 변형 요인에 일관되게 대응함을 확인했다. 특히 EF‑Conversion을 사용한 경우, 잠재 분포의 히스토그램이 원래 가우시안 형태에서 비대칭·다중 피크 형태로 변하면서도 KL 손실이 안정적으로 감소하는 현상이 관찰되었다.

이 논문의 주요 기여는 (1) 대칭 행렬 지수함수를 이용해 가역성과 부분 등변성을 동시에 만족하는 L2L 변환을 수학적으로 정립한 점, (2) 지수족을 통한 유연한 prior 설계와 이를 학습 가능한 매핑으로 구현한 점, (3) 기존 VAE 아키텍처에 최소한의 오버헤드로 적용 가능하도록 모듈화한 점이다. 한계점으로는 변환 행렬 M 의 차원이 잠재 차원과 동일하기 때문에 고차원(>256)에서는 연산 비용이 증가할 수 있으며, EF‑Conversion의 파라미터 초기화가 불안정할 경우 수렴이 느려지는 현상이 보고되었다. 향후 연구에서는 저차원 근사(예: 저랭크 행렬)와 더 복잡한 군 구조(예: 비가환 군) 적용을 탐색할 여지가 있다.