정확한 사후확률을 이용한 신경망 학습 한계와 스케일링 법칙

초록

클래스 조건부 정규화 흐름을 오라클로 활용해 실제 이미지에서 정확한 사후확률 p(y|x)를 계산한다. 이를 통해 예측 오류를 불가피한 알레아토릭 불확실성과 감소 가능한 에피스테믹 오류로 분해하고, 데이터 규모에 따른 에피스테믹 오류가 파워법칙(N⁻ᵅ)으로 지속적으로 감소함을 보인다. 아키텍처별 스케일링 차이, 소프트 라벨 학습의 이점, KL 기반 분포 이동 측정, 그리고 정확한 에피스테믹 불확실성을 이용한 능동 학습 효율 향상을 실험적으로 입증한다.

상세 분석

이 논문은 기존 벤치마크가 제공하지 못하는 “진정한” 사후확률 p(y|x)에 접근하기 위해 클래스‑조건부 정규화 흐름(class‑conditional normalizing flows)을 오라클로 설계한다. 흐름 모델은 각 클래스마다 별도로 학습되어 pθ(x|y)를 정확히 추정하고, 베이즈 규칙을 적용해 폐쇄형 형태의 사후확률을 얻는다. 이러한 오라클 세계에서는 기대 교차 엔트로피 손실 L(qθ)=Eₓ