베이지안 추론의 모든 것

초록

베이지안 추론은 관측 데이터와 사전 모델을 결합해 불확실성을 확률적으로 표현하고, 사전 지식과 전문가 의견을 자연스럽게 통합할 수 있는 보편적인 통계 방법이다. 이 장에서는 표준 모델에 대한 베이지안 분석의 기본 요소를 소개하고, 철학적 논쟁을 배제한 수학적·실용적 접근을 제시한다.

상세 분석

베이지안 추론은 사전분포(prior), 가능도(likelihood), 사후분포(posterior)의 삼위일체 구조를 기반으로 한다. 사전분포는 기존 실험 결과나 전문가 의견을 정량화한 것으로, 데이터가 관측되기 전의 불확실성을 나타낸다. 가능도는 주어진 파라미터 값 하에서 데이터가 발생할 확률을 기술하며, 모델의 구조적 가정을 반영한다. 베이즈 정리를 적용하면 사전과 가능도의 곱을 정규화하여 사후분포를 얻는다. 이 사후분포는 파라미터에 대한 업데이트된 불확실성을 제공하며, 추정값(point estimate)뿐 아니라 신뢰구간(credible interval) 등 전반적인 불확실성 정보를 제공한다.

표준 모델(예: 정규, 이항, 포아송)에서는 공액(conjugate) 사전분포를 선택하면 사후분포가 동일한 형태를 유지해 계산이 간단해진다. 그러나 복잡한 계층모델이나 비선형 모델에서는 사후분포가 해석적으로 구해지지 않으므로, 마코프 체인 몬테카를로(MCMC)나 변분 추론(variational inference) 같은 수치적 방법이 필요하다. 특히 MCMC는 Gibbs 샘플링, Metropolis‑Hastings 알고리즘 등을 통해 고차원 파라미터 공간을 효율적으로 탐색한다.

베이지안 방법의 장점은 모델 비교와 예측에 있다. 주변가능도(marginal likelihood)를 이용한 베이즈 팩터는 서로 다른 모델의 적합도를 정량적으로 비교하게 해 주며, 사후예측분포(posterior predictive distribution)는 새로운 데이터에 대한 예측을 확률적으로 제공한다. 또한, 사전분포의 민감도 분석을 통해 결과가 사전 가정에 얼마나 의존하는지 평가할 수 있다.

실제 적용 사례로는 임상시험에서 사전 지식이 제한적인 상황에서의 효율적인 샘플 크기 설계, 경제학에서 계층적 패널 데이터 분석, 기계학습에서 베이지안 신경망과 베이지안 최적화 등이 있다. 이러한 사례들은 베이지안 추론이 불확실성을 정량화하고, 데이터와 도메인 지식을 통합하는 강력한 도구임을 보여준다.