포스트 모델 선택 추정량의 무조건적 분포 추정은 불가능하다

초록

본 논문은 모델을 선택한 뒤 같은 데이터로 파라미터를 추정하는 포스트 모델 선택 추정량의 무조건적 분포를 추정하려는 시도가 근본적으로 불가능함을 증명한다. 최소 위험을 기준으로 한 (국소) 최소극대 하한을 도출해, 어떤 추정기도 표본이 커져도 균일하게 일관되게 분포를 추정할 수 없으며, 오차가 일정 기준을 초과할 확률이 ½ 혹은 1에 수렴한다는 결과를 얻는다. 선형 함수(예: 예측값)에도 동일한 불가능성 결과가 적용된다.

상세 분석

이 논문은 “포스트 모델 선택(post‑model‑selection) 추정량”이라는 개념을 명확히 정의한다. 여기서 포스트 모델 선택 절차는 (1) 동일 데이터에 대해 AIC, BIC, 교차검증 혹은 가설 검정과 같은 기준으로 후보 모델 집합 중 하나를 선택하고, (다음 단계) 선택된 모델에 대해 최소제곱법이나 최대우도법 등으로 파라미터를 추정하는 두 단계 과정을 의미한다. 저자는 이러한 절차 전체를 하나의 추정 함수로 보고, 그 결과 추정량의 무조건적(즉, 모델 선택 전후의 전체 확률분포) 분포를 추정하려는 시도가 통계적 한계에 부딪힌다라고 주장한다.

핵심 이론적 도구는 최소극대 위험(minimax) 프레임워크이다. 저자는 먼저 “추정 오차가 사전 지정된 임계값 ε를 초과한다”는 사건의 확률을 손실 함수로 설정하고, 이 손실에 대한 (국소) 최소극대 하한을 구한다. 구체적으로, 파라미터 공간을 두 개의 근접한 점 θ와 θ′ 로 나누고, 두 점 사이에서 모델 선택 규칙이 서로 다른 모델을 선택하도록 설계한다. 이 경우, 선택된 모델에 따라 추정량은 전혀 다른 분포를 갖게 되며, 관측된 데이터만으로 어느 경우인지 구분하기는 불가능하다. 따라서 어떤 추정기가 이 두 경우를 구분해 정확히 분포를 복원하려면, 데이터가 무한히 커져도 오류 확률이 ½(또는 상황에 따라 1)로 수렴한다는 하한을 얻게 된다.

특히 저자는 “균일 일관성(uniform consistency)”이라는 강한 일관성 개념을 사용한다. 이는 모든 파라미터값에 대해 추정 오차가 0으로 수렴해야 함을 의미한다. 논문은 위의 최소극대 하한이 ½ 혹은 1에 수렴함을 보임으로써, 어떤 추정기도 이 조건을 만족시킬 수 없음을 증명한다. 이는 기존에 “점추정은 일관적이지만 분포 추정은 어려울 수 있다”는 직관을 정량적으로 뒷받침한다.

또한 선형 함수, 예를 들어 선택된 모델을 이용한 예측값 ŷ= xᵀβ̂와 같은 경우에도 동일한 불가능성 결과가 확장된다. 이는 포스트 모델 선택 절차가 예측 정확도 자체에도 불확실성을 내포한다는 의미이며, 실제 응용에서 모델 선택 후 얻은 예측 구간이나 신뢰구간이 과도하게 낙관적일 위험이 있음을 시사한다.

결과적으로, 논문은 포스트 모델 선택 추정량의 무조건적 분포를 추정하려는 모든 시도는 근본적인 통계적 한계에 부딪히며, 이를 회피하려면 조건부(예: 선택된 모델이 고정된 경우) 혹은 베이지안 사후분포와 같은 대안을 고려해야 함을 강조한다.