모델별 Gibbs 출력으로 계산하는 사후 모델 확률

초록

본 논문은 가역점프 마코프 체인 몬테카를로(RJMCMC)를 모델 지시변수와 고정 차원의 파레트 벡터 ψ를 교대로 업데이트하는 Gibbs 샘플링 형태로 재구성한다. 이를 통해 각 모델을 개별적으로 기존 MCMC로 추정한 뒤, 사후 모델 확률이나 베이즈 팩터를 사후 처리 단계에서 계산할 수 있는 두 단계 절차를 제시한다. 여러 사례(소나무 강도, 트라우트 반환률, 이항 데이터)에서 제안 방법의 정확도와 효율성을 검증한다.

상세 분석

이 논문은 RJMCMC의 핵심 메커니즘을 “파레트” ψ와 “모델” M이라는 두 개의 블록 변수로 분해함으로써, 전통적인 RJMCMC가 요구하는 복잡한 제이콥비안 보정과 제안 분포 설계 문제를 크게 단순화한다. ψ는 모든 후보 모델이 공유하는 고정 차원의 파라미터 공간으로, 각 모델 k에 대해 가역적인 매핑 g_k 가 정의된다. g_k는 모델‑특정 파라미터 θ^{(k)}와 보조 변수 u^{(k)}를 ψ에 삽입하거나 역으로 변환한다. 이때 u^{(k)}는 추론에 영향을 주지 않으며, Jacobian |∂g_k/∂ψ|는 대부분 경우 단위 행렬이 되므로 계산 비용이 최소화된다.

핵심 아이디어는 다음과 같다. 먼저 각 모델 k에 대해 기존 MCMC(예: Gibbs, Metropolis‑Hastings)를 이용해 θ^{(k)} 의 사후 표본을 얻는다. 각 표본에 대해 독립적으로 u^{(k)}를 샘플링하고, 역변환 ψ = g_k^{-1}(θ^{(k)},u^{(k)}) 을 적용해 ψ의 사후 표본을 만든다. 이렇게 하면 “Stage 1”에서 모델별 ψ 표본 집합을 확보한다.

그 다음 “Stage 2”에서는 두 가지 방법으로 모델 확률을 추정한다. 방법 1은 ψ 표본을 이용해 현재 모델 M 에 대한 전체 조건부 확률 Pr(M=k | ψ, y) 을 계산하고, 이를 카테고리컬 분포에서 샘플링해 모델 인디케이터 체인을 생성한다. 체인의 장기 평균 혹은 Rao‑Blackwellized 평균이 바로 사후 모델 확률이다. 방법 2는 각 ψ에 대해 모든 모델 쌍 (h→k) 에 대한 전이 확률 Pr(M=k | ψ, M=h) 을 구해 전이 행렬을 추정하고, 그 고유벡터(λ=1)의 정규화된 좌측 고유벡터를 모델의 정규화된 사후 확률로 사용한다. 두 방법 모두 기존 RJMCMC가 요구하는 복잡한 제안·수용 단계 없이, 단순히 사후 표본을 재활용함으로써 구현이 용이하고, 특히 모델 수가 많을 때 메모리와 계산 효율이 크게 향상된다.

논문은 세 가지 실증 사례를 통해 이론적 주장의 실용성을 입증한다. 첫 번째 사례(소나무 강도)에서는 두 선형 회귀 모델을 비교했으며, 제안 방법이 정확히 알려진 베이즈 팩터 BF_{21}=~4870 을 재현한다. 두 번째 사례(트라우트 반환률)에서는 다섯 개의 로지스틱 회귀 모델을 다루었고, 전이 행렬 기반 방법이 기존 연구와 거의 동일한 모델 사후 확률을 제공함을 보였다. 세 번째 사례는 단순 이항 모델로, 파레트와 모델 간 매핑이 비선형 Jacobian을 포함하지만, 제안 프레임워크가 여전히 정확히 작동함을 확인했다.

이러한 접근법은 특히 “모델 별 MCMC를 이미 수행한 상황”에서 큰 장점을 제공한다. 연구자는 새로운 모델을 추가하거나 기존 모델을 수정할 때, 전체 RJMCMC 체인을 다시 설계할 필요 없이 기존 표본을 재활용하고, 간단한 후처리 단계만 수행하면 된다. 또한, 모델 간 전이 확률을 직접 계산함으로써, 전통적인 RJMCMC가 갖는 “인접 모델만 전이 가능”이라는 제한을 넘어 전 모델 간 직접 비교가 가능해진다.

전반적으로 이 논문은 RJMCMC를 Gibbs 샘플링 형태로 재해석함으로써, 베이지안 다중 모델 선택에서의 계산적 복잡성을 크게 낮추고, 실무 적용성을 높인 중요한 기여를 한다.