오버피팅 방지를 위한 AIC·AICc 활용법: 물리학 데이터에 대한 정확한 선택 기준

본 논문은 정상선형 회귀 모델을 중심으로 Akaike Information Criterion(AIC)과 그 소표본 보정형 AICc의 이론적 근거와 실제 적용 방법을 체계적으로 재검토한다. 서론에서는 물리학자들이 모델 선택에 있어 과적합을 방지하기 위해 파라미터 수를 벌점으로 반영하는 통계적 도구에 익숙하지 않다는 점을 지적하고, 특히 천문학에서 거리‑적색편이 관계를 비교할 때 AIC·AICc가 도입된 배경을 설명한다. 그러나 많은 논문이 오류바가 제공된 데이터에도 불구하고 AICc를 사용함으로써 통계적 전제가 위배된 사례가 존재한다는 점을 강조한다(부록 B). 2절에서는 최소 불일치 추정(minimum discrepancy estimation)이라는 일반 프레임워크를 제시한다. 여기서는 실제 데이터 생성 과정(g)와 후보 모델(fθ) 사이의 불일치를 측정하는 함수 d(g;fθ)를 정의하고, 이 불일치를 최소화하는 파라미터 추정이 MLE와 동일함을 보인다. 또한 “pseudo‑true” 파라미터 θ*와 실제 추정값 θ̂ 사이의 차이를 구분하고, 전체 불일치(OD), 추정 불일치(ED), 근사 불일치(AD) 개념을 도입한다. 이러한 일반적 관점에서 AIC는 OD의 기대값을 무편향하게 추정하는 통계량으로 해석된다. 3절에서는 정상선형 회귀 모델에 구체적으로 적용한다. 관측값 y∈ℝⁿ이 설계 행렬 X와 파라미터 β, 오차 ε∼N(0,σ²)로 표현되는 경우, σ²가 알려진 경우와 알려지지 않은 경우를 구분한다. σ²가 알려진 경우 AIC는 RSS/σ²+2k 형태이며, 여기서 첫 항은 −2ln L(θ̂)와 동일하고 두 번째 항은 파라미터 수에 대한 벌점이다. σ²가 미지인 경우 AICc가 도입되며, 이는 AIC에 n/(n−k−2)·2(k+1) 보정을 추가한다. 저자는 AICc가 “σ²가 추정될 때만” 정당함을 수학적으로 증명하고, 오류바가 제공된 경우 AICc를 쓰면 과도한 벌점이 부여돼 모델 선택이 왜곡된다는 점을 강조한다. 3b절에서는 AIC 차이 Δ₁₂의 변동성을 추정한다. RSS는 χ²ₙ₋ₖ 분포를 따르므로, 두 모델의 RSS 차이는 독립 χ² 차이로 표현된다. 이를 통해 Var(Δ₁₂)=2·(k₁+k₂)·σ⁴ 등 구체적인 식을 도출하고, Δ₁₂에 대한 표준오차를 구해 p‑값 기반의 유의성 검정을 제안한다. 이 검정은 전통적인 “Akaike weight” 해석을 대체할 수 있으며, 특히 모델이 비중첩이거나 약간의 오차가 존재할 때 더 직관적인 결정을 가능하게 한다. 3a절에서는 모델 불일치가 존재할 때 AIC와 AICc의 거동을 분석한다. σ²가 알려진 경우, 불일치가 있더라도 AIC는 편향이 없으며, 불일치 정도가 ΔAIC에 직접적인 영향을 주지 않는다. 반면 σ²가 추정되는 경우 AICc는 불일치에 민감해, 추가적인 편향 항이 발생한다. 이 편향은 (k+1)(k+2)/