예측 중심 사후분포와 모델 불일치 적응

초록

**
본 논문은 파라미터 추정보다 예측 정확성을 우선시하는 새로운 통계 원칙을 제시한다. 예측 점수를 직접 최소화하고 KL 발산을 정규화한 ‘예측 지향(PrO) 사후분포’를 정의함으로써, 기존 베이지안·깁스 사후분포가 모델이 정확히 지정된 경우에만 최적을 달성하는 한계를 넘어선다. PrO 사후분포는 모델 불일치가 존재할 때도 예측 최적성을 유지하고, 불일치 정도에 비례하는 불가피한 불확실성을 자연스럽게 표현한다. 또한 평균장 라그랑주 동역학을 이용한 샘플링 알고리즘을 제시하고, 선형 회귀와 같은 실험을 통해 이론적 결과를 실증한다.

**

상세 분석

**
PrO 사후분포는 기존 베이지안 프레임워크와 근본적으로 다른 목표 함수를 사용한다는 점에서 혁신적이다. 전통적인 베이지안은 사후분포 Πₙ을 먼저 정의하고, 이를 통해 예측분포 P_{Πₙ}=∫P_θ dΠₙ(θ) 를 얻는다. 이 과정은 파라미터 θ 에 대한 불확실성을 최소화하는 방향으로 설계돼, 모델이 실제 데이터 생성 과정을 정확히 포함할 때만 예측 성능이 최적화된다. 반면 PrO는 예측분포 P_Q=∫P_θ dQ(θ) 그 자체의 스코어 S(P_Q,·) 를 최소화하도록 Q를 선택한다. 즉, “예측의 평균 스코어”가 아니라 “예측 자체의 스코어”를 최소화한다는 점에서 목표 함수가 전혀 다르다. 수식 (2)에서 보듯, 최적화 문제는
 Qₙ = arg min_{Q∈𝒫(Θ)}