베르누이 팩토리를 활용한 정확 샘플링 혁신

초록

본 논문은 기하학적으로 수렴하는 마코프 체인을 기반으로 베르누이 팩토리 기법을 최적화하여, 연속적인 상태공간을 갖는 복잡한 확률분포에 대해 완전한(i.e., perfect) 샘플을 얻는 새로운 알고리즘을 제시한다. 입력 난수의 요구량을 크게 줄이고, 거절 샘플링과 결합함으로써 메트로폴리스-헤이스팅스와 Gibbs 샘플러에 적용 가능한 실용적인 구현 방안을 제공한다. 또한 베이즈 일방향 랜덤 효과 모델을 사례연구로 삼아 실제 데이터에 대한 적용 가능성을 검증한다.

상세 분석

이 연구는 기존 완전 샘플링(perfect sampling) 방법이 주로 가산적(state‑space) 모델에 국한된 한계를 극복하고자, 연속 상태공간을 갖는 마코프 체인에 베르누이 팩토리(Bernoulli factory)를 적용하는 새로운 프레임워크를 제안한다. 핵심 아이디어는 기하학적으로 에르고딕(geometrically ergodic)인 전이 커널 (P)를 이용해 “coalescence time”을 확률적으로 추정하고, 이를 베르누이 팩토리를 통해 0‑1 변수로 변환함으로써 거절 샘플링(rejection sampling) 단계에서 정확히 목표분포 (\pi)를 재현하는 것이다.

베르누이 팩토리 문제는 주어진 확률 (p)에 대해 함수 (f(p))을 구현하는 0‑1 시뮬레이션을 요구한다. 여기서 (f(p)=\frac{c,p}{1-(1-c)p}) 형태의 비선형 변환이 등장하는데, 이는 기존 방법에서 필요로 하는 수천 번의 베르누이 시도에 비해, 저자들이 제시한 “입력 드로우 감소 기법”을 통해 수십 번 수준으로 크게 축소된다. 구체적으로, 저자들은 (p)를 추정하는 과정에서 “coupling from the past”(CFTP)와 유사한 역방향 시뮬레이션을 수행하되, 초기값을 무작위가 아닌 사전 분포의 상한값으로 제한함으로써 재시도 횟수를 최소화한다.

알고리즘은 다음과 같은 흐름을 가진다. (1) 현재 상태 (X_0)에서 기하급수적 수렴을 보장하는 마코프 체인 (P)를 정의한다. (2) 일정한 시간 (T)를 두고, 역방향으로 체인을 추적해 “coalescence”가 발생했는지 확인한다. (3) coalescence가 확인되면, 해당 시점의 상태를 베르누이 팩토리를 이용해 0‑1 변수 (B)로 변환한다. (4) (B=1)이면 현재 상태를 받아들이고, (B=0)이면 거절하고 과정을 반복한다. 이때 베르누이 팩토리의 입력은 (p=\mathbb{P}( \text{coalescence before }T ))이며, 저자들은 이 확률을 효율적으로 추정하기 위해 “geometric thinning” 기법을 도입한다.

이론적 측면에서, 저자들은 제안된 알고리즘이 목표분포 (\pi)에 대해 정확히 무작위 표본을 생성함을 보장하는 정리와, 기대 복잡도 (E