적응형 라쏘와 그룹 라쏘의 자유도 해석: 새로운 불편추정식

초록

본 논문은 적응형 라쏘(Adaptive Lasso)와 적응형 그룹 라쏘(Adaptive Group Lasso)의 효과적 자유도(effective degrees of freedom)를 최초로 무편향 추정식으로 제시한다. 정규 설계와 비정규 설계 모두에 대해 Stein’s unbiased risk estimation(SURE) 프레임워크를 활용해 폐쇄형 표현을 도출하고, 자유도가 단순히 활성 집합 크기보다 크게 증가하는 구조적 특성을 밝힌다. 또한 그룹 라쏘의 자유도 식을 재유도하고, 실험을 통해 모델 선택 및 예측 오류 추정에의 실용성을 검증한다.

상세 분석

이 연구는 페널티 기반 회귀 모델에서 “자유도”라는 개념을 정량화하는 데 중점을 둔다. 기존 라쏘(Lasso)의 경우, Zou et al. (2007)이 제시한 바와 같이 자유도가 활성 변수의 개수와 동일하다는 간단한 결과가 알려져 있다. 그러나 적응형 라쏘는 사전 최소제곱 추정값을 이용해 가중치를 데이터에 의존적으로 부여함으로써, 페널티 항이 변수별로 달라지는 비선형 구조를 만든다. 이 때문에 기존의 자유도 추정법을 그대로 적용할 수 없으며, 자유도가 활성 집합 크기보다 추가적인 “인플레이션” 항에 의해 증가한다는 점이 핵심이다.

논문은 먼저 Stein’s Lemma를 이용해 자유도 (df = \mathbb{E}