베이지안 모델 선택을 위한 중요도 샘플링 방법 비교

초록

본 논문은 베이지안 모델 선택에서 베이즈 요인을 추정하기 위한 여러 중요도 샘플링 기법—단순 몬테카를로, 최대우도 기반 중요도 샘플링, 브리지 샘플링, 조화 평균, 그리고 Chib 방법—을 정리하고, 임베디드 모델(포빗 회귀) 사례에 적용해 성능을 비교한다. 실험 결과, 최대우도 기반 가우시안 중요도 분포가 가장 효율적이며, 브리지와 조화 평균은 임베디드 구조에서 불안정함을 보인다.

상세 분석

이 논문은 베이지안 모델 선택에서 핵심적인 베이즈 요인(Bayes factor)을 계산하기 위한 다양한 중요도 샘플링 기법을 체계적으로 검토한다. 먼저, 사전분포에서 직접 샘플링하는 ‘크루드 Monte Carlo’는 구현이 간단하지만, 사후분포와 사전분포가 크게 차이날 경우 추정 분산이 폭발적으로 커지는 단점이 있다. 이를 보완하기 위해 ‘최대우도 기반 중요도 샘플링’에서는 사후분포를 근사하는 가우시안 제안분포를 사용한다. 특히 probit 모델의 경우, g‑prior와 최대우도 추정값을 이용한 가우시안이 사후분포와 매우 유사해 효율적인 추정이 가능함을 실증한다.

‘브리지 샘플링’은 두 모델의 파라미터 공간이 동일할 때, 공통 제안분포를 이용해 두 적분을 동시에 추정하는 방법이다. 그러나 임베디드 모델(Θ₀⊂Θ₁)에서는 파라미터 차원 차이와 공통 의미 부여가 어려워, 제안분포 선택이 부적절하면 무한 분산이나 편향을 초래한다. 논문은 이를 해결하기 위해 ‘pseudo‑posterior’를 도입해 확장된 파라미터 공간을 구성하는 아이디어를 제시하지만, 실제 구현 복잡도가 크게 증가한다.

‘조화 평균(Harmonic Mean)’ 방법은 사후 샘플의 역우도 평균을 이용해 증거를 추정한다. 이 방법은 구현이 가장 쉬운 편이지만, 역우도가 무한히 큰 값에 민감해 분산이 크게 늘어나고, 특히 고차원 또는 비정규 사후분포에서 신뢰할 수 없는 추정값을 만든다.

‘Chib’s method’는 사후분포의 정규화 상수를 직접 계산하는 방식으로, Gibbs 샘플링을 통해 각 파라미터의 조건부 밀도를 평가한다. 이 방법은 정확도가 높고, 특히 모델이 복잡하거나 임베디드 구조일 때도 안정적인 추정이 가능하지만, 충분한 사후 샘플이 필요하고, 각 파라미터에 대한 조건부 밀도 계산이 필요해 계산 비용이 상대적으로 높다.

실험에서는 Pima Indian 데이터셋의 probit 회귀 모델을 사용해 변수 ped(가족력)의 포함 여부를 테스트한다. 베이즈 요인 B₀₁은 모델0(변수 glu, bp)과 모델1(변수 glu, bp, ped) 사이의 비교를 의미한다. 결과는 다음과 같다. (1) 크루드 Monte Carlo는 20,000 샘플당 추정 분산이 매우 커서 실용적이지 않다. (2) 최대우도 기반 가우시안 중요도 샘플링은 20,000 샘플로도 추정값이 매우 안정적이며, 평균과 표준편차가 다른 방법에 비해 현저히 작다. (3) 브리지 샘플링은 동일 파라미터 차원을 가정해야 하므로, 임베디드 모델에 직접 적용하면 편향과 높은 변동성을 보인다. (4) 조화 평균은 극단적인 역우도 값에 의해 분산이 폭발해 신뢰성이 낮다. (5) Chib’s method는 Gibbs 샘플링을 통해 얻은 사후 평균을 이용해 정확한 베이즈 요인을 제공하지만, 충분한 사후 샘플을 확보해야 하며 계산 시간이 가장 오래 걸린다.

전반적으로, 임베디드 모델 상황에서는 사후분포를 잘 근사하는 제안분포를 사용하는 중요도 샘플링이 가장 효율적이며, 브리지와 조화 평균은 구조적 제한 때문에 신중히 적용해야 함을 강조한다. 또한, 베이즈 요인 추정에 있어 사전 선택, 제안분포 설계, 샘플 크기 조절이 결과 정확도에 미치는 영향을 정량적으로 보여준다.