베이지안 모델 선택을 위한 실용적인 다중 체인 샘플러 병렬 계층 샘플링

초록

본 논문은 여러 체인을 동시에 운용하는 마코프 체인 몬테카를로(MCMC) 알고리즘인 병렬 계층 샘플러(PHS)를 제안한다. PHS는 기존의 병렬 템퍼링(PT)과 구조적으로 유사하지만, 교환 단계에서 전체 체인 집합을 이용해 제안함으로써 탐색 효율을 높인다. 저자는 PHS의 전이 커널이 불변분포를 유지함을 증명하고, Gaussian 군집화, 선형 회귀 변수 선택, 트리형 생존 모델 구조 선택 세 가지 베이지안 모델 선택 문제에 대해 PHS, PT, 메트로폴리스-헤이스팅스(MH)의 성능을 비교한다. 실험 결과 PHS가 혼합 속도와 모델 선택 정확도에서 우수함을 보여준다.

상세 분석

병렬 계층 샘플러(PHS)는 다중 체인을 활용하는 MCMC 프레임워크로, 각 체인은 서로 다른 “온도” 파라미터를 갖는 것이 아니라 동일한 목표 분포를 공유한다는 점에서 PT와 차별화된다. PHS는 기본적인 메트로폴리스-헤이스팅스 업데이트를 각 체인에 독립적으로 적용한 뒤, 모든 체인 간에 일괄적인 교환 제안을 수행한다. 교환 제안은 현재 상태들의 집합을 이용해 새로운 상태 벡터를 샘플링하고, 메트로폴리스-헤이스팅스 수용 확률을 통해 전체 체인 집합이 동시에 이동하도록 설계된다. 이 과정은 상세히 보면 “계층적” 구조를 형성하는데, 상위 레벨에서는 전체 체인 집합의 재배치를, 하위 레벨에서는 개별 체인의 로컬 탐색을 담당한다.

수학적으로 저자는 PHS의 전이 커널 (K)가 목표 분포 (\pi)에 대해 상세히 균형(detailed balance) 조건을 만족함을 증명한다. 구체적으로, 제안 분포가 대칭적이며, 수용 확률이 (\alpha = \min{1, \frac{\pi(\mathbf{x}’)q(\mathbf{x}|\mathbf{x}’)}{\pi(\mathbf{x})q(\mathbf{x}’|\mathbf{x})}}) 형태를 유지함을 보인다. 이를 통해 전체 마코프 체인이 기하 급수적인 혼합 속도를 보장한다는 이론적 근거를 제공한다.

실험에서는 세 가지 베이지안 모델 선택 문제를 선정하였다. 첫 번째는 다변량 정규분포 혼합 모델의 군집 수와 파라미터를 추정하는 Gaussian clustering 문제로, PHS는 높은 차원의 파라미터 공간에서도 빠른 수렴을 보이며, PT는 온도 스케줄링에 민감해 혼합이 지연되는 경향을 보였다. 두 번째는 선형 회귀에서 변수 선택을 위한 스파스 베이지안 프레임워크로, PHS는 후방 확률이 낮은 변수들을 효과적으로 배제하면서도 중요한 변수들의 후방 확률을 정확히 추정했다. 세 번째는 트리 구조를 갖는 생존 모델(생존 분석)에서 가지치기와 분할 규칙을 탐색하는 문제였으며, PHS는 복잡한 트리 공간을 효율적으로 탐색해 최적 구조를 빠르게 찾아냈다.

전반적으로 PHS는 (1) 동일한 목표 분포를 공유함으로써 온도 조정이 필요 없는 단순한 구현, (2) 전체 체인 집합을 이용한 교환 제안으로 높은 전이 확률을 확보, (3) 이론적 수렴 보장과 실험적 효율성 증대를 동시에 달성한다는 장점을 가진다. 특히 고차원·다중모달 분포에서의 탐색 능력이 PT보다 뛰어나며, 기존 MH와 비교했을 때 혼합 시간과 모델 선택 정확도 모두에서 현저히 개선된 결과를 보여준다.