잔차 정보 기준의 수정과 그 이론적 정당성

초록

본 논문은 Shi와 Tsai가 제안한 잔차 정보 기준(RIC)이 잔차 가능도 기반 KL 차이를 최소화한다는 원칙 하에서 항상 포화 모델을 선택한다는 문제점을 지적한다. 이를 해결하기 위해 잔차 가능도가 아닌 수정된 잔차 정보 기준(CRIC)을 도입하고, 이론적 유도와 시뮬레이션을 통해 새로운 기준의 우수성을 입증한다.

상세 요약

Shi와 Tsai(2002)는 회귀 모델 선택을 위해 잔차 가능도(residual likelihood)를 이용한 정보 기준인 RIC을 제안했으며, 이는 “진정 모델과 후보 모델의 잔차 가능도 사이의 Kullback‑Leibler(KL) 차이를 최소화한다”는 원칙에 기반한다. 그러나 저자들은 RIC이 실제로는 언제나 완전(포화) 모델을 선택한다는 사실을 발견했다. 그 원인은 잔차 가능도가 모델 차원에 따라 일정하게 감소하는 형태를 띠기 때문에, KL 차이식이 모델 복잡도를 충분히 벌점(penalty)하지 못한다는 점에 있다. 구체적으로, 잔차 가능도는 잔차 공분산 행렬의 행렬식(det)만을 포함하고, 이는 자유도(df)와 직접적인 선형 관계가 없으므로, 복잡도가 높은 모델이 과도하게 유리해진다.

이러한 근본적인 결함을 보완하기 위해 저자들은 두 가지 접근법을 제시한다. 첫째, 잔차 가능도 대신 전체 가능도(likelihood)를 사용해 KL 차이를 정의하면, 모델 차원에 비례하는 로그‑determinant와 잔차 제곱합이 동시에 고려되어 적절한 벌점이 부여된다. 둘째, 기존 RIC의 형태를 유지하면서도 차원에 대한 조정을 추가한다. 구체적으로, 수정된 잔차 정보 기준(CRIC)은

\