완전 적응형 가우시안 혼합 메트로포리스 헤이스팅 알고리즘

초록

본 논문은 다중 모드와 고차원 목표 분포에 대해 효율적으로 샘플을 생성할 수 있는 적응형 메트로포리스-헤이스팅(MH) 알고리즘을 제안한다. 제안된 방법은 가우시안 혼합 제안 밀도를 사용하며, 가중치, 평균, 공분산을 이전 샘플을 이용한 단순 재귀식으로 지속적으로 업데이트한다. 1차원 및 2차원 실험을 통해 기존 적응형 MH 기법 대비 수렴 속도와 샘플 품질이 향상됨을 보였다.

상세 분석

제안된 Fully Adaptive Gaussian Mixture Metropolis‑Hastings (FA‑GMM‑MH) 알고리즘은 전통적인 MH 방법이 갖는 제안 분포 선택의 어려움을 가우시안 혼합 모델(GMM)로 해결한다. GMM은 K개의 컴포넌트로 구성되며, 각 컴포넌트는 가중치 w_k, 평균 μ_k, 공분산 Σ_k 로 파라미터화된다. 핵심 아이디어는 이 파라미터들을 매 반복마다 현재까지 생성된 샘플 집합 {x_1,…,x_n}을 이용해 온라인 방식으로 업데이트한다는 점이다. 구체적으로, 새로운 샘플 x_{n+1}이 생성되면 각 컴포넌트에 대한 책임(Responsibility) γ_{k}(x_{n+1})를 계산하고, 다음과 같은 재귀식으로 파라미터를 갱신한다.

• w_k^{(n+1)} = (1‑α) w_k^{(n)} + α γ_k(x_{n+1})
• μ_k^{(n+1)} = μ_k^{(n)} + α γ_k(x_{n+1}) ( x_{n+1} – μ_k^{(n)} ) / w_k^{(n+1)}
• Σ_k^{(n+1)} = Σ_k^{(n)} + α γ_k(x_{n+1})