두 성분 Gibbs 샘플러의 기하학적 에르고딕성 및 스캔 전략 비교

초록

본 논문은 두 변수로 구성된 Gibbs 샘플러에서 세 가지 스캔 전략(구성, 무작위 순서 스캔, 무작위 스캔)의 기하학적 에르고딕성(Geometric Ergodicity)을 연구한다. 하나의 전략에서 기하학적 에르고딕성이 입증되면 다른 두 전략에서도 동일하게 성립함을 보이고, 이를 확인할 수 있는 실용적인 충분조건을 제시한다. 두 개의 구체적 예시를 통해 이론을 검증한다.

상세 분석

Gibbs 샘플러는 다변량 목표분포를 조건부 분포들의 반복적 샘플링으로 근사하는 MCMC 방법이다. 두 성분으로 제한하면 각 단계에서 하나의 성분을 고정하고 다른 성분을 조건부로 업데이트한다. 이때 스캔 전략은 업데이트 순서를 결정하는데, 크게 세 가지가 있다. 첫째, 구성(Composition) 스캔은 고정된 순서(예: 1→2)로 두 변수를 순차적으로 업데이트하고, 한 사이클이 끝난 뒤 전체 상태를 기록한다. 둘째, 무작위 순서 스캔(Random Sequence Scan, RSS) 은 매 사이클마다 두 변수의 업데이트 순서를 무작위로 선택하지만, 한 사이클 안에서는 두 변수를 모두 한 번씩 업데이트한다. 셋째, 무작위 스캔(Random Scan, RS) 은 매 단계마다 어느 변수를 업데이트할지 확률적으로 선택하고, 선택된 변수만 한 번 업데이트한다.

기하학적 에르고딕성은 마코프 체인이 목표분포에 대해 기하급수적으로 수렴함을 의미한다. 이는 중앙극한정리와 신뢰구간 구축에 필수적인 조건이며, 실제 시뮬레이션에서 수렴 속도를 예측하는 데도 중요하다. 기존 연구에서는 특정 스캔 전략에 대해 개별적으로 에르고딕성을 증명했지만, 전략 간의 관계는 명확히 규명되지 않았다.

본 논문은 전략 간 동등성 정리를 제시한다. 구체적으로, 두 성분 Gibbs 샘플러가 세 전략 중 하나에서 기하학적 에르고딕성을 만족하면, 나머지 두 전략에서도 동일하게 만족한다는 것을 보였다. 증명은 각 전략이 생성하는 전이 연산자의 스펙트럼 특성을 비교하고, 작은 정규화 상수를 이용해 하나의 연산자를 다른 연산자의 거듭 제곱 형태로 표현함으로써 이루어진다. 특히, RSS와 RS는 각각의 전이 커널이 구성 스캔 커널의 평균화 형태임을 이용해, 평균 연산자와 최대 연산자 사이의 일관성을 확보한다.

또한, 충분조건을 제시하여 실무자가 쉽게 검증할 수 있게 했다. 핵심은 각 조건부 분포가 **드리프트 함수(Drift Function)**와 소형 집합(Small Set) 조건을 만족하는지 여부이다. 구체적으로, 두 조건부 밀도가 상한과 하한을 갖고, 상태공간 전반에 걸쳐 일정한 라플라스 변환 상수를 유지하면 기하학적 에르고딕성이 보장된다. 이러한 조건은 특히 선형 회귀, 베이즈 로지스틱 회귀와 같은 일반적인 베이즈 모델에서 쉽게 확인할 수 있다.

논문은 두 개의 예시를 통해 이론을 실증한다. 첫 번째 예시는 이중 정규분포를 목표로 하는 경우로, 조건부 평균과 분산이 선형 형태이므로 제시된 충분조건을 바로 만족한다. 두 번째 예시는 베타-이항 혼합 모델로, 조건부 분포가 베타와 이항 형태이지만, 파라미터 공간을 적절히 제한하면 드리프트와 소형 집합 조건을 만족한다는 것을 보인다. 두 예시 모두 세 스캔 전략 모두에서 동일한 기하학적 수렴 속도를 관찰했으며, 이는 이론적 결과와 일치한다.

이러한 결과는 Gibbs 샘플러 설계 시 스캔 전략 선택이 수렴 속도에 미치는 영향을 크게 완화시킨다. 즉, 사용자는 구현 편의성이나 계산 비용을 기준으로 전략을 선택해도, 기하학적 에르고딕성 보장은 동일하게 유지된다. 이는 특히 고차원 모델에서 병렬화나 블록 업데이트를 고려할 때 중요한 실용적 함의를 가진다.