베이지안 선형 모델의 완전 정리: 정규‑감마 사후분포와 효율적 구현

초록

본 논문은 선형 회귀, 가우시안 프로세스, 동적 베이지안 모델 등 다양한 상황에 적용 가능한 정규‑감마(Normal‑Gamma) 사전분포의 사후분포 유도 과정을 상세히 전개한다. 관측치 간 상관관계(공분산 행렬 Σ)를 포함한 일반형 모델 Y = Xθ + ε(ε∼N(0,λ⁻¹Σ))에 대해 θ와 정밀도 λ의 결합 사후분포를 Normal‑Gamma 형태로 얻고, 예측분포, 모델 증거, 변수 선택, 그리고 대규모 데이터에 대한 계산 최적화 방안을 제시한다. 또한 파이썬 구현과 실험 예시를 제공한다.

상세 분석

이 논문은 베이지안 선형 모델(BLM)의 핵심 수학적 구조를 ‘정규‑감마(Normal‑Gamma)’ 사전분포라는 하나의 통합 프레임워크 안에 압축한다. 먼저 관측 모델 Y = Xθ + ε를 정의하고, ε∼N(0,λ⁻¹Σ)로 잡아 공분산 Σ를 자유롭게 지정함으로써 독립 데이터뿐 아니라 시계열·공간 데이터와 같은 상관관계가 있는 경우도 포함한다. 사전분포는 θ|λ∼N(θ₀, (λA₀)⁻¹), λ∼Ga(α₀,β₀) 형태이며, 이는 정규‑감마의 공액(conjugate) 특성을 이용한다.

핵심 유도는 사후밀도 π(θ,λ|y)∝λ^{n/2+p/2+α₀−1}exp{-λ