가역점프 MCMC를 대체하는 깔끔한 Gibbs 샘플러

본 논문은 가변 차원의 베이지안 모델링에서 기존의 가역점프 MCMC(RJMCMC) 방법이 갖는 복잡성을 최소화하고, 보다 직관적인 Gibbs 샘플링 절차를 통해 차원 전이를 수행할 수 있는 새로운 알고리즘을 제시한다. 1. **문제 설정 및 기존 접근법** 베이지안 추론에서 모델 차원이 고정되지 않은 경우, 데이터 y 와 차원 k 에 대한 파라미터 θ(k) 를 동시에 추정해야 한다. 전통적인 해결책은 Green(1995)의 RJMCMC로, 차원 전이 시 매핑 함수와 Jacobian을 정의해 상세한 균형 조건(detailed balance)을 만족시킨다. 그러나 이 과정은 설계가 복잡하고, 제안 분포와 Jacobian 계산이 모델마다 달라 구현 부담이 크다. 2. **전체 확률 모델의 재구성** 저자는 차원 k 에 대한 완전한 공동밀도 p(y, θ(k), k) 에 더해, 다른 차원 j ≠ k 에 대한 파라미터 θ(j) 를 잠재 변수로 추가한다. 구체적으로 p(y, {θ(j)}_{j≥1}, k) = p(y, θ(k), k) × ∏_{lk} p(θ(l) | θ(l‑1)) 이며, 여기서 p(θ(l) | θ(l±1)) 는 임의로 선택 가능한 제안 분포이다. 이 구조는 차원 k 가 고정될 때는 필요 없지만, 차원 전이를 위한 “제안” 역할을 한다. 3. **보조 이산 변수 u 의 도입** 차원 전이 후보가 무한히 많아 직접 확률을 계산하기 어려운 문제를 해결하기 위해, 보조 변수 u 를 도입한다. u 는 현재 차원 k 에 대해 u = k + 1 with probability q, u = k with probability 1 – q 로 정의된다. 이렇게 하면 차원 전이 후보가 {k‑1, k, k + 1} 세 가지로 제한되어, 전이 확률을 명시적으로 계산할 수 있다. 4. **Gibbs 샘플링 절차** 현재 차원 k 에 있을 때 다음과 같은 순서로 샘플링한다. a. θ(k) 를 사후 π_k(θ(k) | y, k) ∝ p(y | θ(k), k) π_k(θ(k)) 에서 샘플링한다. b. θ(k + 1) 와 θ(k – 1) 를 각각 p(θ(k + 1) | θ(k)) 와 p(θ(k – 1) | θ(k)) 에서 샘플링한다. 이는 차원 전이를 위한 제안 파라미터를 미리 준비하는 단계이다. c. u 를 위의 사전 확률에 따라 샘플링한다. d. u 의 값에 따라 새로운 차원 j 를 선택한다. - u = k + 1 이면 j ∈ {k, k + 1} 이며, 전이 확률은 π(j = k + 1 | …) ∝ (1 – q) p(y, θ(k + 1), k + 1) p(θ(k) | θ(k + 1)) π(j = k | …) ∝ q p(y, θ(k), k) p(θ(k + 1) | θ(k)) - u = k 이면 j ∈ {k‑1, k} 이며, 전이 확률은 π(j = k | …) ∝ (1 – q) p(y, θ(k), k) p(θ(k‑1) | θ(k)) π(j = k‑1 | …) ∝ q p(y, θ(k‑1), k‑1) p(θ(k) | θ(k‑1)) 이때 공통된 잠재 변수와 밀도는 약분되어 계산에 포함되지 않는다. 5. **특수 경우와 간소화** 식 (3) p(θ(k) | θ(k‑1)) π_{k‑1}(θ(k‑1)) = p(θ(k‑1) | θ(k)) π_k(θ(k)) 가 모든 k 에 대해 성립한다면, 전이 확률은 단순히 데이터 우도와 차원 사전 π(k) 만으로 표현된다. 즉, π(j = k + 1 | …) ∝ (1 – q) p(y | θ(k + 1), k + 1) π(k + 1) π(j = k | …) ∝ q p(y | θ(k), k) π(k) 와 같이 Jacobian이나 복잡한 비대칭 제안 비율이 필요 없어진다. 이는 RJMCMC와 달리 상세한 균형 조건을 강제하지 않아도 되는 근거이다. 6. **알고리즘 요약** 1) 현재 차원 k 에서 θ(k) 와 인접 차원의 파라미터 θ(k ± 1) 를 샘플링한다. 2) u 를 사전 확률 q 에 따라 샘플링한다. 3) u 의 값에 따라 식 (1)·(2) 혹은 특수 경우 식 (3)을 이용해 새로운 차원 j 를 결정한다. 이 과정을 반복하면 차원 전이와 파라미터 추정이 동시에 이루어지는 Markov 체인이 생성된다. 7. **장점 및 한계** - **장점**: 구현이 간단하고, Gibbs 샘플러와 동일한 구조를 유지한다. Jacobian 계산이 필요 없으며, 제안 분포를 자유롭게 설계할 수 있다. 상세한 균형 조건을 만족시키기 위한 수학적 제약이 없으므로, 복잡한 모델에도 적용이 용이하다. - **한계**: 전이 제안이 인접 차원에만 국한되므로, 차이가 큰 모델 간 전이가 비효율적일 수 있다. 제안 분포 p(θ(k ± 1) | θ(k)) 의 선택이 체인의 혼합 속도에 큰 영향을 미친다. 필요에 따라 u 의 정의를 확장하거나 다단계 전이 전략을 도입해야 한다. 8. **결론** 저자는 기존 RJMCMC의 핵심 아이디어—차원 전이를 위한 제안과 사후 확률 계산—를 유지하면서, Gibbs 샘플링이라는 친숙한 프레임워크 안에 차원 전이 메커니즘을 통합하였다. 이는 복잡한 Jacobian 계산과 상세한 균형 조건을 회피함으로써, 베이지안 모델 선택 및 구조 학습 분야에 실용적인 대안을 제공한다. 향후 연구에서는 제안 분포 설계, 다단계 전이, 그리고 고차원 실험을 통한 효율성 검증이 필요할 것으로 보인다.