플로우 매칭으로 구현하는 고차원 상호정보 추정

초록

본 논문은 기존 판별 기반 MI 추정기의 한계를 극복하고자, 정규화 흐름(Normalizing Flow)과 플로우 매칭(Flow Matching) 기법을 결합한 새로운 추정기 FMMI를 제안한다. 연속형 확률 공간에서 흐름 변환의 기대 로그 자코비안을 직접 계산함으로써, 공동분포와 주변분포 사이의 변환을 학습하고 이를 통해 상호정보를 정확히 추정한다. 이 방법은 고차원·고MI 상황에서도 샘플 효율성이 높으며, 이론적 수렴 보장과 실험적 우수성을 동시에 제공한다.

상세 분석

FMMI는 두 가지 핵심 아이디어를 결합한다. 첫째, 연속시간 정규화 흐름(CNF)을 이용해 공동분포 (p_{XY})와 주변분포 (p_Xp_Y) 사이의 변환 (\mathbf{f}\theta)를 학습한다. 변환이 미분가능하고 가역적이면, 변환의 로그 자코비안 (\log|\det \nabla{\mathbf{x}}\mathbf{f}_\theta(\mathbf{x})|) 의 기대값은 정확히 (\mathrm{MI}(X;Y))와 동일함을 보인다(정리 4.1). 이는 기존 판별 기반 추정기가 에너지 기반 모델(GEBM)으로 제한되는 점을 넘어, 직접적인 확률 흐름을 이용한다는 점에서 혁신적이다.

둘째, 흐름 매칭(Flow Matching) 손실을 도입해 최대우도 학습의 두 가지 제약—목표 분포의 확률밀도 (\pi(\mathbf{x})) 가 tractable해야 함, 그리고 ODE 적분 비용—을 회피한다. 구체적으로, 조건부 속도장 (\mathbf{v}\phi(\mathbf{x},t)) 를 정의하고, (\mathbf{v}\phi) 가 목표 확률 경로를 따르도록 (\mathbb{E}{t,\mathbf{x}\sim\pi_t}|\mathbf{v}\phi(\mathbf{x},t)-\mathbf{v}^\ast(\mathbf{x},t)|^2) 를 최소화한다. 여기서 (\mathbf{v}^\ast) 는 연속형 최적수송(COT) 이론에 의해 얻어지는 최적 속도이며, 샘플링만으로 근사 가능하다. 논문은 이 손실이 무편향 추정량을 제공함을 보이며, Monte‑Carlo 기반의 FMDoE(FM Density‑of‑Estimate) 알고리즘을 통해 실질적인 MI 값을 계산한다.

이론적 측면에서 저자는 Lemma 4.1, Theorem 4.2, Corollary 4.3 등을 통해 (i) 기대 로그 자코비안이 MI와 정확히 일치함, (ii) 흐름 매칭 손실이 최적 변환을 근사함, (iii) 샘플 수 (n) 에 대한 수렴 속도가 (\mathcal{O}(n^{-1/2})) 임을 증명한다. 또한, FMDoE와 FMDoE‑estimation 알고리즘을 각각 학습과 추정 단계로 구분하고, 알고리즘 1·2 에서 구체적인 배치 샘플링, 속도장 업데이트, 로그‑확률 보정 절차를 제시한다.

실험에서는 (a) 합성 고차원 Gaussian, (b) 복합 다중모드 분포, (c) 이미지‑텍스트 쌍(예: CIFAR‑10 + label) 등 다양한 베치마크를 사용했다. 비교 대상은 MINE, NWJ, SMILE, RFMI, DRE∞ 등 최신 판별·생성 기반 추정기이다. 결과는 특히 MI가 10 bits 이상인 상황에서 FMMI가 평균 절대오차를 30 % 이상 감소시키며, 샘플 효율성(배치 = 256)과 연산 시간(초당 0.8 ms)에서도 경쟁력을 보였다.

한계점으로는 (1) 연속형 데이터에만 직접 적용 가능하고, 이산형 변수에 대한 확장은 별도 이산 흐름 모델이 필요함, (2) 속도장 네트워크의 아키텍처 선택이 성능에 민감할 수 있다는 점이다. 그러나 저자는 이러한 제한을 완화하기 위한 향후 연구 방향으로 (i) 혼합형 흐름, (ii) 다변량 확장(MI ≥ 3 변수) 및 (iii) 비정규화된 데이터에 대한 사전 변환(pre‑processing) 등을 제시한다. 전반적으로 FMMI는 판별 기반 MI 추정의 근본적인 패러다임을 흐름 기반 변환 학습으로 전환함으로써, 고차원·고MI 상황에서도 이론적·실험적 우수성을 동시에 달성한 중요한 진보라 할 수 있다.