엔트로피 거울 몬테카를로

초록

본 논문은 목표 분포와의 KL 발산을 기하급수적으로 감소시키는 적응형 중요도 샘플링 프레임워크인 엔트로피 거울 몬테카를로(EM2C)를 제안한다. 엔트로피 거울 내림차순을 전역 탐색을 위한 마코프 전이 커널(특히 비조정 라그랑지안)과 결합해 제안 분포를 반복적으로 업데이트하고, 이론적으로 수렴 속도와 편향을 정량화한다. 실험을 통해 다중모드·고차원 문제에서 기존 방법보다 우수한 성능을 보인다.

상세 분석

EM2C는 두 가지 핵심 아이디어를 결합한다. 첫 번째는 엔트로피 거울 내림차순(Entropic Mirror Descent, EMD)으로, 현재 제안 분포 µ에 대해 Fₑ(µ) ∝ (dπ/dµ)^ε · µ 형태의 변환을 수행한다. 이 변환은 KL(π‖µ) 를 1‑ε 비율로 감소시키는 수학적 보장을 제공한다(ρ=1‑ε). 그러나 EMD는 실제 샘플링이 불가능하고, 특히 현재 µ가 목표 π의 고밀도 영역을 충분히 커버하지 못하면 Monte‑Carlo 근사에서 중요한 영역을 놓치게 된다.

두 번째 아이디어는 마코프 전이 커널 Kπ 을 도입해 탐색성을 보강하는 것이다. 저자들은 Fₑₘ(µ;λ,Kπ,ε)=λ Fₑ(µ)+(1‑λ) F_{Kπ}(µ) 라는 혼합 매핑을 정의한다. 여기서 F_{Kπ}(µ) ∝ (dπ/dµ)^ε · µKπ 이며, µKπ는 µ에 Kπ를 적용한 결과이다. λ∈(0,1]는 수축 성분과 탐색 성분의 가중치를 조절한다. Lemma 1과 Proposition 1을 통해, Kπ가 π‑불변(invariant)일 경우 이 혼합 매핑도 KL 수축을 유지함을 증명한다. 특히 ε=1일 때도 λ를 적절히 선택하면 동일한 기하급수 수렴을 확보한다.

실제 구현에서는 π‑불변성을 만족하지 않는 비조정 라그랑지안(Unadjusted Langevin Algorithm, ULA) 커널 R_γ 을 사용한다. ULA는 편향된 불변 분포 π_γ 를 갖지만, 논문은 로그‑소보레프(L‑Sobolev) 부등식과 L‑Lipschitz 조건을 가정해 편향이 O(γ) 정도만큼 제한됨을 보인다(정리 2). 따라서 EMD의 수축 효과가 편향보다 우위에 있어 전체 알고리즘은 여전히 (1‑ε)^t 속도로 KL을 감소시킨다.

알고리즘 1(EM2C)은 다음 절차를 따른다. 매 반복 t에서 현재 제안 ˜µ_t 로부터 N개의 샘플 X_i 을 추출하고, K(·)를 통해 전이된 샘플 Y_i 를 얻는다. 각 샘플에 대해 가중치 ω_i∝(dπ/d˜µ_t)(X_i)^ε 와 ϖ_i∝(dπ/d˜µ_t)(Y_i)^ε 을 계산한다. 이후 λ_t 비율에 따라 두 가중치 집합을 혼합해 재표본화(resampling)된 집합 Z_i 를 만든다. 마지막으로 ˜µ_{t+1} 은 사전 정의된 파라미터화된 가족 {µ_θ} 중에서 Z_i 의 경험분포와 KL을 최소화하는 파라미터 θ를 선택해 얻는다.

이론적 분석 외에도 저자들은 2차원 이중 가우시안 혼합, 20차원 다중모드 베르누이·가우시안 혼합, 그리고 실제 베이지안 로지스틱 회귀 모델 등 다양한 실험을 수행한다. 실험 결과는 EM2C가 기존 적응형 중요도 샘플링(CAPÉ, CAPPÉ‑MCMC)이나 단순 ULA에 비해 ESS(Effective Sample Size)와 평균 제곱 오차(MSE) 면에서 현저히 우수함을 보여준다. 특히 λ를 점진적으로 감소시키는 스케줄링이 탐색 초기에는 넓은 영역을 커버하고, 수렴 단계에서는 수축을 강화해 안정적인 추정치를 제공한다는 점이 강조된다.

요약하면, EM2C는 엔트로피 거울 내림차순의 강력한 수축 특성을 유지하면서, 마코프 전이 커널을 통해 탐색성을 보강한다. 이론적으로는 KL 및 TV 거리에서 기하급수 수렴을 보장하고, 실험적으로는 고차원·다중모드 문제에서 기존 방법들을 능가한다.