지오메트릭 정보 병목: 통계적 다양체 압축 기법

초록

GeoIB는 정보 병목을 정보기하학 관점에서 재정의한다. I(X;Z)와 I(Z;Y)를 각각 독립 다양체에 대한 KL 최소화로 표현하고, 두 가지 기하학적 정규화(피셔‑라오 거리와 야코비안‑프뢰베니우스 항)를 도입해 직접적인 압축을 제어한다. 자연그라디언트 최적화를 통해 안정적 학습을 보장하며, 실험에서 기존 VIB·MINE 기반 방법보다 정확도‑압축 트레이드오프가 우수함을 입증한다.

상세 분석

본 논문은 정보 병목(IB) 문제를 기존의 변분 하한이나 신경망 기반 MI 추정기에 의존하는 접근법에서 탈피한다. 저자들은 정보기하학의 핵심 개념인 통계적 다양체와 피셔‑라오(Fisher‑Rao) 메트릭을 활용해 I(X;Z)와 I(Z;Y)를 각각 “독립 다양체”에 대한 KL 투영 거리로 정확히 표현한다. 이는 기존의 변분 바운드가 제공하는 근사와 달리, MI 자체를 직접 계산하지 않고도 최소 KL 거리 형태로 압축과 예측 효용을 정량화할 수 있음을 의미한다.

GeoIB의 핵심은 두 가지 보조 정규화 항이다. 첫 번째는 분포 수준의 피셔‑라오(FR) 차이로, KL 발산을 2차 근사한 Riemannian 거리 d_FR(q_φ(z|x), r(z))²/2 로 대체한다. 이 항은 파라미터 재파라미터화에 불변이며, 특히 가우시안 인코더의 경우 KL과 정확히 2차까지 일치함을 수식(12)에서 증명한다. 두 번째는 기하학 수준의 야코비안‑프뢰베니우스(JF) 항으로, 인코더의 평균 맵 μ_φ(x)와 공분산 Σ(x) 를 통해 정의된 풀백 메트릭의 볼륨 팽창을 억제한다. 선형화와 가우시안 채널 상한을 이용해 I(X;Z) ≤ ½ E_x Tr