손실 순위 기준을 이용한 선형 회귀 변수 선택

초록

본 논문은 라쏘 등 정규화 방법이 만든 후보 변수 집합 중에서 최적 모델을 선택하기 위한 손실 순위 기준(Loss Rank Criterion)을 제안한다. 고정된 차원에서는 모델 선택 일관성을 증명하고, 차원이 표본보다 훨씬 큰 경우에도 시뮬레이션을 통해 일관성을 확인하였다. 실제 데이터 분석에서도 기존 방법들을 능가하는 성능을 보였다.

상세 분석

손실 순위 기준은 기존 정규화 알고리즘이 생성한 후보 서브셋들을 사전 선택된 후보군으로 보고, 각 후보에 대해 손실 함수값을 순위화한 뒤 그 순위의 합을 최소화하는 모델을 선택한다는 아이디어에 기반한다. 이때 손실은 일반적인 최소제곱 오차를 사용하며, 순위는 전체 후보군에서 해당 모델이 차지하는 상대적 위치를 의미한다. 논문은 먼저 d가 고정된 상황에서 손실 순위 기준이 진정한 모델을 선택할 확률이 1에 수렴한다는 모델 선택 일관성을 정리와 증명을 통해 제시한다. 증명 과정은 기존 정보 기준(AIC, BIC)과 달리 순위 기반이라는 비전통적 접근을 사용함으로써, 차원 증가에 따른 과적합 위험을 자연스럽게 억제한다는 점을 강조한다. 차원이 표본보다 큰 고차원 상황에서는 기존 이론적 보장이 어려우나, 저자들은 대규모 시뮬레이션을 통해 손실 순위 기준이 변수 선택 정확도와 거짓 양성 비율 모두에서 Lasso, SCAD, MCP, 교차 검증 등과 비교해 우수함을 실증한다. 특히, 잡음이 많은 상황이나 상관관계가 높은 변수들 사이에서도 안정적인 선택을 보여준다. 실 데이터 사례에서는 유전학 데이터와 금융 데이터에 적용해 변수 수를 크게 줄이면서도 예측 성능을 유지하거나 향상시켰다. 전체적으로 손실 순위 기준은 계산 복잡도가 후보 집합의 크기에 선형적으로 비례하므로, 기존 정규화 절차와 결합했을 때 실용적인 고속 알고리즘으로 구현 가능하다.