이산 MDL, 전체 변이 거리에서 진짜 분포와 합쳐진다

초록

본 논문은 가산 개수의 확률 모델 집합에 대해 최소 기술 길이(MDL) 원칙이 선택한 모델이 실제 데이터 생성 분포와 전체 변이 거리(total variation) 기준으로 점점 가까워짐을 증명한다. 독립성·정상성·가정가능성 등 어떠한 추가 가정도 필요하지 않으며, 결과는 MAP 선택에도 동일하게 적용된다. 시계열, 판별 학습, 강화 학습 등 비 i.i.d. 상황에서도 MDL 기반 예측이 이론적으로 타당함을 보여준다.

상세 분석

이 논문의 핵심은 “가산(model) 클래스에 대해 MDL(또는 MAP) 선택기가 전체 변이 거리(total variation, TV)에서 진짜 측도와 병합(merge)한다”는 정리이다. 여기서 ‘전체 변이 거리’는 두 확률 측도 P와 Q에 대해 ‖P−Q‖_{TV}=sup_{A}|P(A)−Q(A)| 로 정의되며, 이는 예측 분포가 모든 사건에 대해 거의 동일한 확률을 부여한다는 강력한 수렴 개념이다. 기존의 베이즈 예측 수렴 결과(예: Blackwell‑Dubins 정리)는 연속적인 사전·우도 구조와 절대 연속성(absolute continuity)을 전제로 하지만, 본 연구는 전혀 그런 가정을 두지 않는다.

먼저 모델 클래스 𝔐={P_i}가 가산이라고 가정하고, 각 모델에 양의 사전 가중치 w_i>0을 부여한다. MDL 선택기는
\