객관적 사전 w프라이어와 베이지안과 정보 기반 추론의 통합

본 논문은 통계학의 세 주요 패러다임인 베이지안, 정보 기반, 빈도주의 추론을 통합하는 새로운 객관적 사전 w‑프라이어를 제안한다. 저자는 먼저 관측 데이터 X_N 이 i.i.d. 분포 q(x|θ₀) 를 따르는 상황을 설정하고, 모델 파라미터 공간 Θ 위에 일반화된 사전 ρ(θ) 를 정의한다. 이를 통해 베이지안 파티션 함수 Z(X_N|ρ)=∫_Θ ρ(θ) q(X_N|θ)dθ 와 사후분포 ρ(θ|X_N) 를 도입한다. 핵심 아이디어는 “베이지안 예측 다중성(multiplicity) m(θ₀,ρ)”을 정의하여, 특정 진정 파라미터 θ₀ 주변에서 사전 ρ가 정의하는 구별되지 않는 모델의 수를 측정하는 것이다. 다중성은 log m(θ₀,ρ)=P_post^N(θ₀,ρ)−P_pre^N(θ₀,ρ) (여기서 P_post 은 로그 파티션 함수의 기대값, P_pre 은 새로운 데이터에 대한 예측 로그우도) 로 표현된다. w‑프라이어는 모든 θ₀ 에 대해 m=1 이 되도록 선택된 사전이며, 이는 일반적으로 부정규화된 형태를 가진다. w‑프라이어를 적용하면 파티션 함수 Z는 더 이상 관측 데이터의 주변 확률이 아니라, 다음 N 개의 데이터에 대한 예측 확률의 무편향 추정량이 된다. 이는 물리학의 자유 에너지와 엔트로피 개념을 차용한 해석과도 일치한다. 구체적으로, 온도 T=1/N 으로 정의하고, Gibbs 엔트로피 S=−∂_T F와 연결하면, w‑프라이어는 S=0 (1/N 수준) 조건을 만족한다. 정규 모델에 대해 대규모 N 극한을 취하면, w‑프라이어는 w(θ)=√det I(θ)·(N/2π)^{K/2}·e^{-K} 이라는 닫힌 형태를 갖는다. 여기서 I(θ) 는 피셔 정보 행렬, K 는 파라미터 차원이다. 이 식은 제프리즈 사전 J(θ)=√det I와 동일한 형태를 가지며, 추가적인 e^{-K} 벌칙이 복잡도 억제를 담당한다. 파티션 함수를 이 사전으로 마진화하면 자유 에너지 G_K=−log q(X_N|θ̂_K)+K 을 얻으며, 이는 Akaike 정보 기준(AIC)과 정확히 일치한다. 따라서 정규 모델에서는 w‑프라이어 기반 베이지안 추론이 AIC 기반 정보 기반 추론과 동등함을 증명한다. 특이 모델(예: 신경망, 혼합 가우시안 등)에서는 피셔 정보가 영에 수렴하거나 정의되지 않아 AIC가 적용되지 않는다. 저자는 w‑프라이어를 재귀적으로 계산하는 방법을 제시하고, 이를 통해 이전에 제안한 Frequentist Information Criterion(FIC)과 연결한다. FIC는 Neyman‑Pearson 검정과 동등한 특성을 가지며, 특이 모델에서도 예측 성능을 정확히 평가한다. 또한 w‑프라이어는 “균일하게 무정보(uniformly uninformative)”라는 특성을 가진다. 파라미터‑코딩 정보 H_θ(θ₀,$) 를 정의하고, 정규화된 w‑프라이어 $_w 를 사용하면 H_θ(θ₀,$_w)=log N_Θ+O(1/N) 가 되어, 진정 파라미터에 독립적으로 일정한 정보를 제공한다. 이는 베이즈 사전이 특정 영역에 편향되는 기존 사전과 대비되는 중요한 성질이다. 더 나아가, 기대 파라미터‑코딩 정보 H_θ($) 에 대해 변분을 수행하면 w‑프라이어가 최대 무정보(maximally uninformative)임을 확인한다. 결론적으로, w‑프라이어는 (1) 파라미터 공간에서 구별 가능한 모델을 균일하게 배치, (2) 베이지안 파티션 함수를 예측 성능의 무편향 추정량으로 해석, (3) 정규 모델에서 AIC와 동등, (4) 복잡도 억제 메커니즘을 제공, (5) 특이 모델에도 확장 가능하다는 다섯 가지 핵심 장점을 제공한다. 이는 머신러닝, 통계 모델 선택, 과학적 데이터 분석에서 사전 선택의 주관성을 최소화하고, 예측 중심의 통합 이론을 제공하는 중요한 진전이다.