정규화 흐름을 이용한 변분 추론 기반 전이 차원 RJMCMC 제안 학습 프레임워크

초록

본 논문은 변분 추론(VI)과 조건부 정규화 흐름(NF)을 결합해 전이 차원(Reversible Jump) MCMC의 모델 간·내 제안을 효율적으로 학습하는 새로운 프레임워크를 제시한다. 기존 TRJ가 목표 후방 분포에서 추출한 파일럿 샘플을 필요로 하는 반면, 제안된 방법은 단순 베이스 분포에서 샘플만으로 역 KL을 최소화함으로써 계산 비용을 크게 낮춘다. RealNVP 흐름을 활용해 병렬화가 가능하고, 조건부 NF를 통해 모든 모델의 전송 맵을 한 번에 학습한다. 실험 결과는 제안 방법이 기존 베이스라인보다 빠른 믹싱과 정확한 주변 가능도 추정 능력을 보임을 확인한다.

상세 분석

이 연구는 전이 차원 베이지안 추론에서 핵심적인 병목인 모델 간 제안 설계 문제를 변분 추론과 정규화 흐름(NF)의 결합으로 해결한다. 기존 Transport Reversible Jump(TRJ) 방법은 전송 맵(Transport Map, TM)을 목표 후방 분포와의 전방 KL 최소화로 학습했으며, 이를 위해 복잡한 목표 분포에서 파일럿 샘플을 추출해야 했다. 파일럿 샘플의 품질이 TM 정확도와 MCMC 효율성에 직접적인 영향을 미치므로, 고차원·다중 모델 상황에서 비용이 급증한다는 한계가 있었다.

논문은 역 KL(Reverse KL) 최소화를 선택함으로써 이 문제를 근본적으로 전환한다. 역 KL은 베이스 분포(보통 표준 정규)에서 샘플을 그려 변환 함수의 파라미터를 최적화하므로, 복잡한 목표 분포에 대한 직접 샘플링이 필요 없으며, 샘플링 비용이 베이스 분포의 차원에만 의존한다. 이를 위해 저자는 RealNVP 기반의 정규화 흐름을 TM의 역함수 (T_k^{-1}) 로 설정하고, 변분 목표인 ELBO를 스토캐스틱 그래디언트 방식(SGVI)으로 최적화한다. RealNVP는 어피니 커플링 레이어를 이용해 Jacobian determinant가 쉽게 계산되며, 전·후방 변환이 모두 O(1) 연산으로 병렬화 가능해 고차원에서도 효율적이다.

또한, 다중 모델 상황을 위한 조건부 정규화 흐름을 도입한다. 포화 차원(saturated-space) 접근법을 사용해 모든 모델을 최대 차원 (d_{\max}) 로 확장하고, 모델 인덱스 (k) 를 컨텍스트 변수로 넣은 하나의 조건부 RealNVP를 학습한다. 이렇게 하면 각 모델별 TM을 별도로 학습할 필요 없이 한 번의 학습으로 모든 모델에 대한 전송 맵을 얻을 수 있다. 조건부 흐름은 모델 인덱스에 따라 스케일·변환 네트워크의 파라미터를 동적으로 조정하므로, 모델 간 차원 차이를 자연스럽게 매핑한다.

제안된 프레임워크는 두 가지 중요한 부수 효과를 제공한다. 첫째, 변분 과정에서 얻어지는 ELBO 값은 모델별 주변 가능도(증거)의 하한을 제공하므로, 모델 비교와 사전 확률 업데이트에 활용 가능하다. 둘째, 정확한 TM을 사용하면 제안 수용 확률이 모델 인덱스만에 의존하게 되어, 사실상 거부‑프리(rejection‑free) 제안을 설계할 수 있다.

실험에서는 기존 AF 기반 TRJ, KD‑tree 기반 제안, 전통적인 랜덤 워크 RJMCMC 등과 비교해 혼합 시간(mixing time)이 현저히 감소했으며, 특히 높은 차원·다중 모델 시나리오에서 RealNVP 기반 제안이 GPU 가속 하에 거의 실시간에 가까운 속도를 보였다. 또한, 변분 추정된 주변 가능도가 실제 증거와 높은 상관관계를 보여, 모델 선택 단계에서도 신뢰할 수 있음을 입증했다.

전반적으로 이 논문은 변분 추론과 정규화 흐름을 전이 차원 MCMC에 적용함으로써, 파일럿 샘플 의존성을 제거하고, 병렬화와 조건부 학습을 통해 확장성을 확보한 혁신적인 방법론을 제시한다.