입자 마코프 체인 몬테카를로 실용 구현과 적응형 SMC 및 ABC 확장

본 논문은 Andrieu, Doucet, Holenstein(2010)의 Particle Markov chain Monte Carlo(PMCMC) 방법에 대한 두 명의 연구자(J. Cornebise, G.W. Peters)의 실무적 논평을 통합한 형태이다. 서론에서는 PMCMC가 비선형 상태공간 모델, 특히 다변량 확률 미분 방정식(SDE) 기반 상품 가격 모델, 무선 통신 채널 추정, 인구 동역학 등 다양한 분야에 미칠 파급 효과를 강조한다. 저자들은 실제 구현 경험을 바탕으로, 상태 차원 dₓ가 2~3, 파라미터 차원 d_θ가 최대 20, 시계열 길이 T가 100~400인 경우를 ‘이상적인 사용 사례’로 정의한다. 1. **일반적인 구현상의 문제점** - PMH에서는 파라미터 제안 분포를 사전 시뮬레이션이나 버닝 단계에 맞춰 고정하면, 긴 시계열(T가 크다)일 때 로그우도 추정치 ˆp_θ(y₁:T)의 변동성이 커져 효율이 급감한다. - Adaptive Metropolis(AM)와 같은 적응형 MCMC를 도입하면, 제안 공분산을 실시간으로 조정해 대규모 파라미터(d_θ)와 긴 시계열(T)에서도 안정적인 수용률을 유지할 수 있다(그림 2 참조). 2. **Particle Gibbs(PG)의 고정 현상** - PG는 조건부 SMC가 특정 경로에 과도하게 집중하면 체인이 해당 경로에 머무르는 현상이 발생한다. 특히 상태 전이 함수가 파라미터 θ에 따라 거의 선형인 구간과 비선형인 구간이 혼재하는 경우, 비선형 구간에서 θ를 샘플링하면 파티클 트리가 기존 경로에 고정된다. - 이를 완화하기 위해 PMH를 PG 내부에 삽입하고, PRC(Partial Rejection Control)와 적응형 SMC 커널을 활용한다. PRC는 파티클의 증분 중요도 가중치가 사전 정의된 임계값 cₙ 이하일 때 해당 파티클을 거부함으로써, 필터 퇴화와 ˆp_θ(y₁:T)의 고분산 문제를 동시에 억제한다. 3. **적응형 SMC와 Rao‑Blackwell화** - Rao‑Blackwell화된 파티클 필터(Doucet et al., 2000)는 상태 전이 확률을 정확히 계산할 수 있을 때 가중치 분산을 크게 감소시킨다. 이는 특히 1차원 상태에 대해 효과적이며, 논문에서는 SIR 필터와 비교해 수용률이 향상된 사례를 제시한다. - 적응형 변이 커널은 두 가지 형태로 제시된다. (i) 로컬 적응: 각 파티클 내부에서 현재 가중치 분포에 맞춰 변이 분산을 조정한다. (ii) 전역 적응: 마코프 체인 전체 이력에서 얻은 통계량(예: 공분산 행렬)을 이용해 변이 커널을 설계한다. 이러한 접근은 특히 다차원 상태(xₙ)에서 필터 퇴화를 방지한다. 4. **ABC와 PMCMC의 결합** - 관측 모델의 정확한 likelihood를 계산하기 어려운 경우, Approximate Bayesian Computation(ABC) 기법을 도입한다. 거리 함수 ρ와 허용 오차 ε를 사용해 관측 yₙ과 시뮬레이션 yₙ^{(s)} 사이의 차이를 평가하고, 가중치를 I(ρ<ε) 혹은 정규화된 커널 N(yₙ; yₙ^{(s)}, ε²) 형태로 근사한다. - ABC를 적용하면 파티클 집합이 급격히 가중치가 0이 되는 현상이 발생할 수 있다. 이를 방지하기 위해 PRC를 적용, 임계값 cₙ을 동적으로 조정한다(알고리즘 1). 알고리즘은 초기 ε와 c₁을 설정하고, 각 시점 n에서 (1) 파티클 재샘플링, (2) 변이, (3) ABC 가중치 계산, (4) PRC 기반 거부/수용 과정을 반복한다. - 이 방식은 기존 SMC‑ABC(예: Peters et al., 2008)보다 파티클 퇴화에 강인하며, 특히 고차원 파라미터와 긴 시계열에서 효율적인 추정이 가능함을 실험적으로 확인한다. 5. **실험 및 결과** - 논문은 로그‑θ‑logistic 인구 동역학 모델을 사례로 사용한다. 상태 전이 함수는 비선형이며, 관측 노이즈는 작은 편이다. 파라미터 θ=(r, ζ, K)와 상태 x₁:T를 동시에 추정한다. - N=200개의 파티클을 사용한 PMH에서, Adaptive Metropolis 제안을 5,000번째 반복부터 적용했을 때 파라미터 K의 혼합성이 크게 개선되었다(그림 2). - 파라미터와 상태의 샘플링 경로는 10번의 PMH 반복만에 실제 경로 주변으로 집중되기 시작했으며, 20,000번 반복 후에는 MMSE 추정이 실제 경로와 거의 일치하였다(그림 3). - 전체 차원(≈10³)에도 불구하고, 각 반복에서 (X₁:T, θ) 전체를 제안하는 방식이 효율적으로 작동함을 보여준다. 6. **결론 및 향후 과제** - PMCMC는 이론적으로 강력하지만, 실제 적용 시 파티클 수, 제안 분포, 필터 퇴화 등 여러 실무적 요소가 성능을 좌우한다. 적응형 MCMC, Rao‑Blackwell화, PRC, 그리고 ABC와의 결합은 이러한 문제를 체계적으로 해결한다. - 향후 연구는 (i) 고차원 상태공간에서의 효율적인 로컬 적응 커널 설계, (ii) 자동화된 ε와 cₙ 튜닝 전략, (iii) 병렬/분산 환경에서의 PMCMC 스케일링 등에 초점을 맞출 필요가 있다.