함수공간 MCMC 가속을 위한 새로운 제안

초록

본 논문은 베이지안 역문제에서 사전분포가 가우시안인 경우, 함수공간 수준에서 정의되는 MCMC 제안을 설계하고, 데이터가 강하게 정보를 제공하는 저차원 서브스페이스에 대해 제안의 스케일을 조정함으로써 샘플링 효율을 크게 향상시키는 두 가지 방법을 제시한다.

상세 분석

이 연구는 함수공간 MCMC가 무한 차원으로 확장될 때도 수렴성을 유지한다는 이론적 장점을 가지고 있음에도, 실제 적용 시 데이터가 특정 파라미터 방향에 강하게 제약을 가하면 마코프 체인의 상관 시간이 급격히 증가한다는 문제점을 지적한다. 특히, 사전분포가 가우시안이고 전방 연산자가 스무딩(smoothing) 특성을 가질 때, 사후분포는 사전분포에 대해 절대 연속성을 갖으며, 사전을 불변으로 하는 제안(예: pCN, preconditioned Crank–Nicolson)만으로는 고주파 성분이 거의 변하지 않아 샘플링 효율이 저하된다.

저자들은 이러한 현상을 두 가지 관점에서 해결한다. 첫 번째는 “특성함수 절단”(characteristic function truncation) 방식으로, 사후분포가 크게 변하는 저주파 성분에 대해서는 기존 pCN 제안을 그대로 사용하고, 고주파 성분은 사전분포에 완전히 의존하도록 강제로 절단한다. 이를 통해 제안의 공분산 행렬을 주파수별로 다르게 스케일링함으로써, 고주파는 사전의 고유값에 비례한 작은 변동만을 허용하고, 저주파는 데이터에 의해 조정된 변동을 충분히 반영한다.

두 번째는 “헤시안 보간”(Hessian interpolation) 방법이다. 여기서는 사후분포의 라플라시안(또는 헤시안) 정보를 근사하여, 사전의 고유함수 기반으로 저주파와 고주파 사이에 연속적인 스케일 변환을 적용한다. 구체적으로, 저주파 영역에서는 데이터에 의해 형성된 헤시안의 고유값을 이용해 제안의 변동 폭을 확대하고, 고주파 영역에서는 사전 고유값에 의해 제어되는 작은 변동을 유지한다. 이 보간 과정은 사후분포의 주요 방향성을 반영하면서도, 무한 차원 한계에서 제안이 사전을 정확히 보존하도록 설계되었다.

두 방법 모두 제안의 수용 확률을 유지하기 위해 메트로폴리스–헤스팅스 조정을 수행한다. 실험에서는 파라미터가 수천 차원에 달하는 비선형 PDE 역문제와, 이미지 복원 문제에 적용해 기존 pCN 대비 유효 샘플링 크기(effective sample size)가 5~10배 향상됨을 보였다. 특히, 데이터가 강하게 제한하는 저차원 서브스페이스가 명확히 존재할 때, 헤시안 보간 방식이 가장 큰 이득을 제공한다.

이 논문의 핵심 통찰은 “데이터가 정보를 제공하는 저차원 서브스페이스와 사전이 지배하는 고차원 잔여 공간을 명시적으로 구분하고, 각각에 맞는 스케일링을 적용함으로써 함수공간 MCMC의 혼합 속도를 크게 가속화할 수 있다”는 점이다. 이는 기존의 무차원 불변 제안이 갖는 보편성은 유지하면서도, 실제 문제에서 흔히 나타나는 비균등 정보 분포를 효과적으로 활용한다는 점에서 이론과 실무 모두에 중요한 기여를 한다.