베이지안 혼합 모델을 위한 자유 에너지 기반 MCMC 가속화 기법

**1. 서론 및 문제 정의** 베이지안 혼합 모델은 데이터의 이질성을 포착하는 데 널리 쓰이지만, 사후분포가 다중 모드(특히 라벨 전치에 의한 K!개의 대칭 복제)와 추가적인 진정한 다중 모드(하이퍼파라미터에 의한) 구조를 갖는다. 기존 MCMC(랜덤 워크 Metropolis‑Hastings, Gibbs)는 이러한 복잡한 지형을 탐색하는 데 오래 걸리며, 특히 라벨 전치가 아닌 실제 모드 전이는 거의 일어나지 않는다. **2. 자유 에너지 기반 샘플링 프레임워크** - **반응 좌표(ξ)**: 파라미터 θ의 저차원 함수로, 다중 모드가 주로 나타나는 방향을 포착한다. 논문에서는 q₁(첫 번째 혼합 비중)과 β(분산 스케일 하이퍼파라미터)를 주요 후보로 제시한다. - **자유 에너지(A)**: A(z) = −log p(ξ(θ)=z) 로 정의되며, 이는 ξ의 마진 로그밀도의 부정값이다. A를 정확히 알면 π_A(θ) ∝ π(θ)·exp{A(ξ(θ))} 로 편향된 분포를 만들 수 있다. 이 편향은 ξ의 마진을 균등하게 만들어 메타스테이빌리티를 해소한다. - **적응 편향 알고리즘**: ABF, ABP, Wang‑Landau 등 물리학에서 개발된 방법을 차용해 샘플링 과정에서 A(z)를 점진적으로 업데이트한다. 구체적으로, 현재 샘플들의 ξ값을 히스토그램에 누적하고, 목표는 히스토그램을 균등하게 만드는 것이다. 업데이트는 stochastic approximation 형태이며, 수렴 이론이 존재한다. **3. 베이지안 추론 절차** 1) 초기 MCMC(예: Metropolis‑Hastings)를 실행하면서 ξ값을 기록한다. 2) 기록된 히스토그램을 기반으로 A(z)를 업데이트하고, 현재 A를 이용해 편향된 제안 분포를 만든다. 3) 편향된 사후분포 π_A에서 충분히 섞인 샘플을 얻은 뒤, 중요도 가중치 w(θ)=exp{−A(ξ(θ))} 로 원래 사후분포에 대한 추정값을 계산한다. 4) 증거 Z는 자유 에너지와 중요도 가중치의 평균을 이용해 직접 추정한다. **4. 반응 좌표 선택에 관한 논의** - **q₁**: 혼합 비중은