선형 비용 무편향 사후 추정 교차 효과와 행렬 분해 모델을 위한 결합 기법

초록

본 논문은 차단 Gibbs 샘플러(Blocked Gibbs Sampler, BGS)를 결합(coupling)하여 무편향 MCMC 추정량을 선형 시간 안에 얻는 방법을 제시한다. 가우시안 목표분포에 대한 이론적 수렴 시간 상한을 제공하고, 교차 랜덤 효과 모델과 확률적 행렬 분해(PMF) 모델에 적용해 실제 데이터에서 몇 번의 BGS 반복만으로도 정확한 사후 추정이 가능함을 보인다.

상세 분석

이 연구는 두 가지 주요 흐름을 결합한다. 첫째, 최근 각광받고 있는 무편향 MCMC(UMCMC) 프레임워크는 두 개의 마코프 체인을 결합(coupling)시켜 회합(meeting) 시점까지의 경로를 이용해 편향 없는 추정량을 만든다. 둘째, 고차원 베이지안 모델에서 조건부 독립 블록을 동시에 업데이트하는 차단 Gibbs 샘플러(BGS)는 각 반복마다 O(N)·O(p) 비용으로 구현될 수 있다(N은 데이터 수, p는 파라미터 수). 저자들은 “두 단계(two‑step) 결합 전략”을 설계해 BGS의 전이 커널을 최대 결합(maximal coupling)과 Wasserstein‑2 최적 결합으로 구성한다. 이때 각 블록은 가우시안 조건부분포를 가지므로, 정확한 최대 결합을 샘플링할 수 있다.

핵심 이론적 기여는 가우시안 목표분포에 대해 결합된 BGS의 회합 시간 τ의 기대값 E