관측 데이터에 따라 스케일되는 베이지안 비선형 회귀의 내재 정규화 효과

본 논문은 “Intrinsic regularization effect in Bayesian nonlinear regression scaled by observed data”라는 제목의 연구를 한국어로 상세히 해석한다. 연구의 배경은 베이지안 모델 선택(BMS)이 오캄의 면도날 원리를 구현한다는 점이다. BMS는 모델의 복잡도를 자동으로 억제하는 내재 정규화 효과(IRE)를 통해 가장 간결한 모델을 선택한다. 그러나 기존 특이 학습 이론은 IRE를 정의하는 실 로그 정규화 임계값(RLCT)이 데이터 양과 품질에 어떻게 의존하는지를 명시적으로 제시하지 못한다. 이를 해결하기 위해 저자들은 비선형 회귀 문제를 설정한다. 관측 데이터 Dₙ={x_i,Y_i}₁ⁿ은 조건부 독립이며, Y_i는 평균 f(x_i;w), 분산 β⁻¹인 정규분포를 따른다. 여기서 w는 모델 파라미터, f는 후보 모델 집합 {f_K}에 속한다. 베이지안 자유 에너지 Fₙ(β,f)와 평균 제곱 오차 Eₙ(w;f)를 정의하고, μ→∞(경험적 베이즈) 한계에서 모델 f를 최소화한다. 내재 정규화 효과를 정량화하기 위해 Bayes specific heat Cₙ(β,f)를 도입한다. 이는 파라미터 w에 대한 평균 제곱 오차의 변동성을 측정하는 양으로, 통계 물리학의 비열에 대응한다. Cₙ은 관측 가능한 양이며, κ=nβ라는 “관측 데이터의 세밀함”에 따라 변한다. κ는 표본 수와 관측 잡음의 역분산을 곱한 값으로, 데이터 양과 품질을 동시에 반영한다. 다음으로 저자들은 κ와 구간 길이 L을 고정하고 n→∞ 한 극한에서 Fₙ과 Cₙ의 유한 크기 스케일링을 전개한다. 주요 식은 다음과 같다. Fₙ(β,f)=F(κ,f;w₀,f₀)+Rₙ/(2nβ₀) Cₙ(β,f)=Λ(κ,f;w₀,f₀)+Oₚ(max{(log κ)⁻¹,β/β₀,1/(n√β₀)}) 여기서 F(κ,f;w₀,f₀)와 Λ(κ,f;w₀,f₀)는 각각 자유 에너지와 Bayes specific heat의 스케일링 함수이며, Rₙ은 χ² 분포를 따르는 무작위 변수이다. κ→∞이면 Λ는 dim(w)/2(=BIC 복잡도 항) 혹은 RLCT로 수렴한다. 따라서 Λ는 IRE를 κ에 따라 연속적으로 조절하는 역할을 한다. 이론적 결과를 검증하기 위해 K개의 가우시안 기반 RBF 모델 f_K(x;w)=∑_{k=1}^K a_k exp