모델 선택과 과적합을 위한 최소 설명 길이와 콜모고로프 복잡도

초록

이 논문은 모델 선택 과정에서 발생하는 과적합 현상을 정보 이론적 관점에서 조명한다. Kolmogorov 복잡도와 Minimum Description Length(MDL) 원리를 소개하고, 이론적 배경을 바탕으로 오류 최소화와 설명 길이 최소화가 어떻게 상충하거나 보완되는지를 설명한다. 마지막으로 과적합의 전형적인 특징들을 정리한다.

상세 분석

논문은 먼저 과적합(overfitting)의 정의와 직관적인 예시를 통해 독자가 문제의 심각성을 바로 인식하도록 돕는다. 과적합은 훈련 데이터에 지나치게 맞추어 모델 복잡도가 불필요하게 커지는 현상으로, 검증 데이터나 실제 환경에서 성능이 급격히 떨어지는 결과를 초래한다. 이를 해결하기 위한 전통적 접근법은 정규화나 교차 검증 등이다. 그러나 저자는 정보 이론적 관점, 즉 데이터 자체가 담고 있는 최소한의 정보량을 기준으로 모델을 평가하는 것이 더 근본적이라고 주장한다.

Kolmogorov 복잡도는 어떤 문자열을 가장 짧게 기술할 수 있는 프로그램의 길이로 정의되며, 이는 이론적으로 “최소 설명 길이”와 동일시된다. 실제 계산이 불가능한 개념이지만, 이를 근사하는 MDL 원칙은 “데이터와 모델을 함께 기술하는 전체 코드 길이”를 최소화하는 방향으로 모델을 선택한다. 여기서 모델의 복잡도는 모델 자체를 기술하는 비트 수, 데이터 적합도는 모델이 데이터를 설명하는 데 필요한 추가 비트 수로 분리된다.

논문은 두 가지 MDL 변형, 즉 두 단계 MDL(2‑part MDL)과 정규화된 최대우도(NML) 방식을 비교한다. 두 단계 MDL은 모델 파라미터를 먼저 코딩하고, 그 다음 잔차를 코딩하는 방식이며, NML은 모든 가능한 데이터 샘플에 대해 정규화된 확률을 사용해 전체 코드 길이를 계산한다. 두 방법 모두 과적합을 억제하는 효과가 있지만, NML은 계산량이 급격히 증가한다는 실용적 한계를 가진다.

또한 저자는 오류 최소화와 설명 길이 최소화 사이의 트레이드오프를 그래프 형태로 시각화한다. 오류가 감소할수록 설명 길이는 증가하고, 반대로 설명 길이를 줄이면 오류가 커지는 구간이 명확히 드러난다. 이는 모델 선택 시 “베이즈 정보 기준(BIC)”이나 “아카이케 정보 기준(AIC)”과 같은 기존 통계적 기준이 사실상 MDL의 특수 경우임을 보여준다.

마지막으로 과적합의 전형적인 특징을 네 가지로 요약한다. 첫째, 훈련 오차가 급격히 감소하지만 검증 오차는 오히려 증가한다. 둘째, 모델 파라미터 수가 데이터 포인트 수에 비해 과도하게 많다. 셋째, 모델이 데이터의 잡음까지 학습해 복잡한 구조를 만든다. 넷째, 새로운 데이터에 대한 일반화 성능이 급격히 저하된다. 이러한 현상들은 MDL 기반 선택 기준이 효과적으로 억제할 수 있는 요소들이다.

전반적으로 논문은 Kolmogorov 복잡도와 MDL을 통해 모델 선택을 이론적으로 정당화하고, 과적합을 방지하기 위한 실용적인 지침을 제공한다.