고차원 베이지안 추론을 위한 변환 기반 마코프 연쇄 샘플링

본 논문은 고차원 베이지안 추론에서 전통적인 Metropolis‑Hastings(MH)와 Gibbs 샘플링이 겪는 차원 저주와 낮은 수용률 문제를 해결하고자, 결정적 변환을 이용한 새로운 마코프 연쇄 샘플링 기법인 TMCMC(Transformation‑based MCMC)를 제안한다. TMCMC의 핵심 아이디어는 상태공간 X와 보조공간 D 사이의 전사·전단사 변환 T:X×D→X를 정의하고, 이 변환에 의해 현재 상태 x와 1차원(또는 저차원) 난수 ε를 결합해 새로운 상태 x′=T(x,ε)를 생성하는 것이다. 변환 T와 그 역변환 T_b는 각각 전진·후진 이동을 담당하며, 전진·후진 영역이 서로 겹치지 않도록 설계한다. 변환이 일대일 대응이고 자코비안 J(x,ε)≠0이면, 제안밀도 q는 변환의 역함수와 자코비안을 포함한 혼합 형태로 표현될 수 있다. 1. **이론적 기반** - **변환 조건**: 고정된 ε에 대해 x↦T(x,ε)와 x↦T_b(x,ε)가 각각 전사·전단사이며, ε↦T(x,ε)는 삽입(injective)이다. - **자코비안**: J(x,ε)=∂(T(x,ε),ε)/∂(x,ε) 가 거의 모든 점에서 0이 아니어야 한다. 이는 상세균형을 보장하기 위한 핵심 조건이다. - **상세균형 증명**: 보조집합 Y⊂D를 정의해 전진 변환은 ε∈Y, 후진 변환은 ε∉Y 로 구분한다. 전진 확률 p와 후진 확률 1−p를 도입하면, 수용률 α(x,ε)=min{1, (1−p)/p·π(x′)/π(x)·|J(x,ε)|} (전진) 혹은 α(x,ε)=min{1, p/(1−p)·π(x′)/π(x)·|J(x,ε)|} (후진) 로 간단히 표현된다. 여기서 π는 목표밀도이며, g(ε)는 ε의 밀도이다. 흥미롭게도 α는 g에 의존하지 않는다. - **수렴성**: 보조 정리에서는 변환이 선형(덧셈·곱셈)일 때 기하학적 에르고딕(geometric ergodicity)을 보이며, 비선형 변환도 적절히 설계하면 동일한 수렴 속도를 기대할 수 있다. 2. **다변량 확장** - 고차원 경우 각 좌표 i에 대해 독립적인 변환 T_i와 역변환 T_{b,i}를 정의하고, 지시벡터 z∈{−1,1}^k 로 전진·후진 선택을 지정한다. 전체 변환은 T_z(x,ε)= (T_{z1}(x_1,ε_1),…,T_{zk}(x_k,ε_k)) 로 구성된다. - 2^k개의 가능한 이동 유형 중 하나를 무작위로 선택함으로써, 고차원 공간에서도 충분히 큰 탐색을 보장한다. 변환이 선형이면 자코비안은 대각 행렬이 되므로 계산이 간단하고, 비선형 변환에서도 각 좌표별 자코비안을 곱해 전체 자코비안을 얻는다. - 이 구조는 HMC의 리프시츠 변환을 특수 경우로 포함한다. HMC에서는 위치와 모멘텀을 결합한 변환을 사용하지만, TMCMC에서는 동일한 변환을 ε와 x에 대한 결정적 함수로 해석한다. 3. **기존 방법과의 비교** - Liu‑Yu(1999), Liu‑Sabatti(2000), Kou et al.(2005)의 변환 기반 Gibbs/Metropolis와는 달리, TMCMC는 변환 자체가 제안 메커니즘의 전부이며, 기존 알고리즘에 변환을 “덧붙이는” 것이 아니라 완전한 새로운 프레임워크이다. - MH와 달리 제안밀도가 고차원에서 특이(singular)해지지 않는다. 변환이 전체 파라미터를 동시에 이동시키면서도 ε는 1차원(또는 저차원)만 필요하므로, 제안밀도의 차원과 복잡도가 크게 감소한다. - 수용률 측면에서 TMCMC는 변환이 적절히 설계되면 0.3~0.6 수준을 유지할 수 있어, 고차원에서 흔히 관찰되는 0.01 이하의 수용률을 크게 개선한다. 4. **실험 및 응용** - **Challenger 데이터**: 2차원 고상관 데이터에 대해 TMCMC와 표준 MH를 비교하였다. TMCMC는 전진·후진 확률 p=0.5, ε~N(0,σ²) (σ=0.5) 로 설정했으며, 평균 수용률이 0.48인 반면 MH는 0.15 수준에 머물렀다. 또한, 자동 튜닝이 필요 없으며, 동일한 CPU 시간 내에 더 많은 유효 샘플을 얻었다. - **Diggle 지리통계 모델**: 160개의 파라미터를 가진 공간적 베이지안 모델에 TMCMC를 적용하였다. ε는 표준 정규분포에서 추출하고, 각 파라미터에 대해 로그‑덧셈 변환을 사용했다. 5.5×10⁷번의 반복을 수일 내에 수행했으며, 메모리 사용량은 기존 Gibbs/HMC 대비 70% 감소, 유효 샘플당 시간은 0.02초 수준이었다. 수렴 진단(Geweke, R̂)에서도 빠른 수렴을 확인했다. - **이중 불가능 분포**: Bridge‑exchange 알고리즘에 TMCMC를 삽입해 정규화 상수 추정에 필요한 중간 분포 샘플링을 단일 ε 변환으로 대체하였다. 실험 결과, 전체 연산 시간이 40% 감소했으며, 수용률은 기존 방법 대비 2배 향상되었다. 5. **제한점 및 향후 연구** - 변환 설계가 문제에 맞게 맞춤형이어야 한다는 점이 가장 큰 제한이다. 특히 비선형 변환에서 자코비안이 0에 가까워지면 수용률이 급격히 떨어질 수 있다. - 현재는 변환이 전역적인(모든 좌표에 동일) 경우를 주로 다루었으며, 지역적(조건부) 변환이나 적응형 ε 분포 설계는 향후 연구 과제로 남는다. - 또한, 변환 기반 방법을 병렬화하거나 GPU 가속에 적용하는 방안도 탐색 중이다. 결론적으로, TMCMC는 “단일 저차원 난수 → 고차원 전체 파라미터 업데이트”라는 혁신적 접근을 통해 MCMC의 핵심 병목을 동시에 해결한다. 이론적 상세균형과 수렴성을 보장하면서, 실제 고차원 베이지안 모델에 적용했을 때 연산 효율과 수용률 모두 크게 개선된 점이 가장 큰 강점이다.