가능도 없는 샘플러의 목표분포 모호성에 대한 고찰

초록

가능도 계산이 어려운 베이지안 모델에서 사용되는 likelihood‑free 샘플러는 기존 MCMC·SMC 알고리즘을 변형한다. 본 논문은 이러한 변형이 실제로는 두 가지 서로 다른 목표분포(파라미터와 보조변수의 결합분포 vs. 파라미터의 주변후분포) 중 어느 하나를 목표로 할지 모호함을 보이고, 이를 일반화된 알고리즘 틀 안에서 명확히 구분한다. 목표분포의 선택이 이론적 정당성, 수렴 속도, 그리고 향후 알고리즘 설계에 중요한 영향을 미친다.

상세 분석

Likelihood‑free 샘플러는 실제 가능도 대신 시뮬레이션 기반의 거리 혹은 요약통계량을 이용해 가중치를 부여한다. 전통적인 ABC‑MCMC는 제안된 파라미터 θ′에 대해 시뮬레이션된 데이터 x′를 생성하고, 거리 ρ(s(x′),s(y))가 허용범위 ε 이하이면 이동을 허용한다. 이 과정에서 알고리즘이 정확히 어떤 분포를 표본화하는지는 명시적으로 드러나지 않는다. 논문은 두 가지 가능한 목표분포를 구분한다. 첫 번째는 (θ, u) 형태의 확장공간에서의 결합분포 p(θ, u | y)이며, 여기서 u는 시뮬레이션된 보조변수(예: 가짜 데이터 혹은 요약통계)이다. 두 번째는 u를 적분해버린 파라미터의 주변후분포 p(θ | y)이다. 기존 알고리즘은 구현 방식에 따라 어느 하나를 목표로 할 수 있는데, 예를 들어 Metropolis–Hastings 수용률에 보조변수의 확률밀도 비를 포함시키면 결합분포를 표본화하고, 단순히 거리 기반 수용률만을 사용하면 주변후분포에 대한 근사에 머문다.

논문은 이 두 목표분포 사이의 차이를 수학적으로 명시한다. 결합분포를 표본화하면 보조변수의 제안·수용 과정이 마코프 체인의 상태공간에 포함되므로, 체인의 불변분포가 정확히 p(θ, u | y)임을 보장한다. 반면, 주변후분포만을 목표로 할 경우 보조변수는 “임시” 변수로 취급되어, 체인의 전이 확률이 실제 목표분포에 대해 비대칭성을 가질 위험이 있다. 이는 특히 ε가 크게 설정된 경우, 혹은 요약통계가 충분히 정보를 담지 못할 때 심각한 편향을 초래한다.

또한, 논문은 SMC와 PMC와 같은 순차적 샘플링 기법에도 동일한 모호성이 존재함을 보여준다. 입자 가중치를 계산할 때 보조변수의 확률밀도를 포함시키는지 여부가 목표분포를 결정한다. 저자는 일반화된 알고리즘 프레임워크를 제시하여, 각 단계에서 “확장공간 목표”와 “주변목표” 중 하나를 명시적으로 선택하도록 한다. 이렇게 하면 이론적 수렴 증명(예: 자세한 마코프 체인 이론, 변분적 경계조건)과 실제 구현 사이의 불일치를 해소할 수 있다.

마지막으로, 목표분포 선택이 실용적인 측면에 미치는 영향을 논한다. 결합분포를 표본화하면 보조변수의 사후분포까지 동시에 얻을 수 있어, 모델 검증이나 예측에 유리하지만 계산 비용이 증가한다. 반면, 주변후분포만을 목표로 하면 메모리와 연산량이 절감되지만, ε와 요약통계 선택에 대한 민감도가 커진다. 따라서 연구자는 문제의 특성(시뮬레이션 비용, 요약통계의 충분성, 사후 분석 필요성 등)에 따라 목표분포를 명확히 정의하고 알고리즘을 설계해야 한다.