베이지안 계산 방법

초록

본 장에서는 베이지안 통계에서 자주 마주치는 혼합 모델 추정과 모델 선택 문제를 소개하고, 이를 해결하기 위한 주요 컴퓨팅 기법들을 간략히 정리한다.

상세 분석

베이지안 통계는 사후분포를 통해 불확실성을 정량화하지만, 실제 적용 단계에서는 사후분포를 직접 계산하기 어려운 경우가 대부분이다. 특히 혼합 모델의 경우, 각 구성 요소의 파라미터와 혼합 비율을 동시에 추정해야 하므로 차원 폭발과 다중모드 현상이 발생한다. 이러한 문제를 해결하기 위해 마코프 체인 몬테 카를로(MCMC) 방법, 특히 메트로폴리스-헤이스팅스와 깁스 샘플링이 널리 활용된다. 메트로폴리스-헤이스팅스는 제안 분포를 자유롭게 선택할 수 있어 복잡한 사후분포에도 적용 가능하지만, 튜닝이 필요하고 수렴 속도가 느릴 수 있다. 반면 깁스 샘플링은 조건부 사후분포가 표준 형태일 때 효율적이며, 혼합 모델에서는 라벨 스위칭 문제를 완화하기 위해 라벨 교환 제약을 도입하기도 한다. 모델 선택 측면에서는 베이지안 정보 기준(BIC)과 데이비슨-스미스 베타-베타 사후확률, 그리고 역확률비(베이지안 팩터) 계산이 핵심이다. 역확률비는 사전 확률과 사후 확률을 직접 비교함으로써 모델 간 상대적 적합도를 정량화한다. 그러나 역확률비는 고차원 적분이 필요하므로, 변분 베이지안(VB) 방법이나 중요도 샘플링을 통한 근사 계산이 종종 사용된다. 최근에는 확률적 변분 추정법과 Hamiltonian Monte Carlo(HMC) 같은 고급 샘플링 기법이 도입되어, 높은 차원의 파라미터 공간에서도 효율적인 탐색이 가능해졌다. 이 장에서는 이러한 전통적 및 최신 기법들을 개괄적으로 소개하고, 각각의 장단점과 적용 시 유의사항을 정리한다.