효과적인 변수 수 지표(ENV)로 모델 선택의 엘보우 문제를 혁신하다

본 논문은 중첩 모델 선택 문제에서 변수(또는 차원) 수를 결정하는 새로운 지표인 Effective Number of Variables(ENV)를 제안한다. 모델 선택은 크게 (1) 전혀 다른 모델 간 비교, (2) 동일 파라미터 집합 내 튜닝, (3) 파라미터 차원이 증가하는 중첩 모델 세 가지 상황으로 구분된다. 특히 파라미터 차원이 증가하는 경우, 즉 모델 복잡도가 단계적으로 늘어나는 상황이 본 연구의 초점이다. 기존 접근법으로는 교차 검증(CV), AIC·BIC와 같은 정보 기준, 베이지안 증거 계산, 그리고 최근 제안된 기하학적 엘보우 탐지(Universal Automatic Elbow Detector, UAED) 등이 있다. UAED는 오류 함수 V(k)를 두 직선으로 근사해 삼각형·직사각형 면적을 최소화함으로써 최적 차원 kₑ를 찾는다. 그러나 이 방법은 선형 복잡도 패널티 λ=V(0)·K에 의해 최대 변수 수 K에 민감하게 반응한다는 한계가 있다. ENV는 이러한 한계를 극복하기 위해 ROC 곡선의 최대 AUC 개념과 Gini 지수를 차용한다. V(k)는 비증가 오류 곡선으로 가정하고, 이를 연속 함수 V(x)로 이론적으로 확장한다(실제는 이산점 V(k)만 사용). 전체 면적 A_total은 V(0)·K/2 로 정의하고, 각 k에 대한 누적 면적 A(k)를 계산한다. ENV(k)=A(k)/A_total 로 정규화된 비율을 구함으로써, k가 전체 설명력에 기여하는 비율을 정량화한다. ENV 값은 0~1 사이이며, 1에 가까울수록 해당 k가 모델의 거의 모든 정보를 포함한다는 의미다. 핵심적인 장점은 ENV가 K에 독립적이라는 점이다. K를 늘려도 λ가 변하지 않으므로, 추가된 미미한 변수는 ENV 값에 거의 영향을 주지 않는다. 따라서 과도한 변수 추가에 의한 과대 선택을 방지한다. 또한, ENV를 기반으로 신뢰도 지표(ΔENV)와 불확실성 지표(부트스트랩 기반 표준편차 등)를 정의해 선택된 차원의 안전성을 정량화한다. 이러한 지표는 AIC·BIC와 같은 기존 정보 기준에 부가적으로 적용 가능해, 다중 기준을 결합한 보다 견고한 모델 선택을 지원한다. 실험에서는 다항 회귀, 클러스터링, 변수 선택, 차원 축소 등 다양한 실제 데이터셋에 대해 ENV와 기존 UAED, AIC, BIC, SIC 등을 비교하였다. 결과는 다음과 같다. (1) ENV는 최적 차원을 더 정확히 탐지한다. 특히 K를 인위적으로 크게 잡은 경우에도 선택이 안정적이다. (2) 제안된 신뢰도·불확실성 지표가 선택 결과의 해석성을 크게 향상시킨다. (3) ENV는 기존 엘보우 탐지기의 λ=V(0)·K 의존성을 제거함으로써, 새로운 변수 추가가 모델에 미치는 영향을 객관적으로 평가한다. (4) Matlab 코드가 부록에 제공되어 재현 가능성을 높였다. 결론적으로, ENV는 오류 곡선의 전체 기여도를 면적으로 해석함으로써, 기존 엘보우 탐지기의 파라미터 의존성을 해소하고, 정보 기준과의 연계성을 확보한 실용적인 모델 선택 도구이다. 이는 변수 선택, 차원 결정, 클러스터 수 결정 등 다양한 분야에서 모델 복잡도와 성능 사이의 적절한 균형을 찾는 데 유용하게 활용될 수 있다.