확률 모델 선택의 세 가지 접근법: 통계, 베이지안, 효율성 비율

** 본 논문은 확률 모델 선택 문제를 세 가지 주요 접근법으로 체계적으로 분석한다. 첫 번째는 Akaike 정보 기준(AIC)과 Schwarz의 베이지안 정보 기준(BIC)과 같은 전통적인 통계적 기준이다. AIC는 \(-2\log L + 2p\) 형태로, BIC는 \(-2\log L + p\log n\) 형태로 정의되며, 여기서 \(L\)은 최대 우도, \(p\)는 자유 파라미터 수, \(n\)은 표본 크기이다. 두 기준 모두 모델 복잡도에 대한 페널티를 부과해 과적합을 방지한다. 두 번째 접근법은 베이지안 프레임워크에서 모델 선택을 수행하는 방법이다. 각 후보 모델 \(M_i\)에 사전 확률 \(\pi_i\)를 할당하고, 데이터 \(\mathcal{D}\)에 대한 사후 확률 \(P(M_i|\mathcal{D})\)를 계산한다. 사후 확률은 \(\pi_i \int L(\theta_i|\mathcal{D}) p(\theta_i) d\theta_i\) 형태이며, 여기서 \(\theta_i\)는 모델 파라미터, \(p(\theta_i)\)는 파라미터 사전이다. 저자는 사전 분포를 ‘베이지안 정보 기준(BIC)’과 일치하도록 선택하면, 사후 확률의 로그는 BIC와 동일한 형태가 됨을 증명한다. 이는 베이지안 모델 선택이 통계적 기준과 수학적으로 동등함을 의미한다. 세 번째 접근법은 효율성 비율(efficiency ratio)이라는 새로운 개념을 도입한다. 효율성 비율은 모델의 예측 정확도와 계산 비용을 동시에 고려하는 비율로 정의된다. 구체적으로 \