라쏘 모델을 위한 강력한 변수 제외 규칙

본 논문은 라쏘(ℓ₁ 정규화)와 그 변형 문제에서 변수 선택을 사전 필터링하는 새로운 “강력한(Strong) 규칙”을 제안하고, 이를 기존의 SAFE 규칙과 비교·보완한다. 1. **문제 설정 및 기존 SAFE 규칙** 라쏘는 ˆβ = arg minβ ½‖y – Xβ‖₂² + λ‖β‖₁ 형태의 최적화 문제이며, λ가 커질수록 더 많은 계수가 0이 된다. El Ghaoui 등(2010)은 이중문제의 feasible point를 이용해 “|x_jᵀy| < λ – (‖x_j‖₂‖y‖₂)(λ_max – λ)/λ_max”라는 SAFE 기준을 도출하였다. 이 기준은 절대적으로 안전하지만, 실제로 제외 가능한 변수 수가 제한적이다. 2. **강력한 규칙의 도출** 저자들은 KKT 조건 x_jᵀ(y – Xβ̂) = λ·s_j (s_j는 서브그라디언트)에서 파생된 내적값 c_j(λ)=x_jᵀr(λ) (r는 잔차) 를 이용한다. c_j(λ)의 λ에 대한 미분을 c'_j(λ)라 할 때, “|c'_j(λ)| ≤ 1”이라는 슬로프 가정을 세운다. 이 가정이 성립하면 λ_max에서 λ까지의 변화량을 상한으로 잡아 전역 강력 규칙을 얻는다: **전역 강력 규칙**: |x_jᵀy| < 2λ – λ_max ⇒ β̂_j(λ)=0 여기서 λ_max = max_j|x_jᵀy|는 모든 계수가 0이 되는 최소 λ이다. 또한, 이미 λ₀에서 해를 구한 뒤 잔차 r₀ = y – Xβ̂(λ₀)를 사용하면 더 강력한 순차적 규칙을 만든다: **순차적 강력 규칙**: |x_jᵀr₀| < 2λ – λ₀ ⇒ β̂_j(λ)=0 (λ < λ₀) 이 규칙은 λ가 감소함에 따라 내적값이 급격히 증가할 가능성을 완충 버퍼(λ₀ – λ)로 보정한다. 3. **슬로프 가정의 근거와 한계** Efron et al.(2004)의 LARS 분석에 따르면 각 β̂_j(λ)는 구간마다 기울기가 ±1인 조각선형 함수이며, 따라서 c_j(λ) 역시 같은 기울기 제한을 갖는다. 이 경험적 사실이 슬로프 가정의 이론적 근거가 된다. 그러나 가정은 언제든지 위배될 수 있다. 특히 p≈N이거나 λ가 매우 작아 과적합 구간에 들어갈 때, 활성·비활성 전이가 빈번해 |c'_j(λ)|가 1을 초과한다. 논문은 N=50, p=30인 경우에 λ₀≈0.025, λ₁≈0.004에서 슬로프가 –1.58을 보이며 강력 규칙이 잘못된 변수를 제외하는 반례를 제시한다. 4. **KKT 검증을 통한 안전성 보완** 강력 규칙은 “거의 안전하지만 절대적이지 않다”는 점을 인정하고, 최종 해를 얻은 뒤 KKT 조건을 검사한다. 위반이 발견되면 해당 변수를 다시 포함시켜 재계산한다. 이 보완 절차는 전체 최적화 과정에서 정확성을 보장하면서도 대부분의 반복에서 변수 수를 크게 줄인다. 5. **실험 설계 및 결과** - **시나리오**: 다양한 N·p 조합(예: N=200, p=5000; N=500, p=50000), 밀집·희소 행렬, 상관 구조(0, +, –), 변수 스케일 차이(표준화 vs 비표준화) 등. - **비제로 계수 비율**: 25%를 정규분포에서 추출. - **비교 대상**: 기본 SAFE, RECSAFE(재귀 SAFE), 전역 강력, 순차적 강력. - **핵심 결과**: p≫N 상황에서 순차적 강력 규칙이 90% 이상 변수를 사전 제외하고도 KKT 위반이 전혀 없었다. 실행 시간은 SAFE 대비 평균 5~10배 단축, 메모리 사용량도 크게 감소했다. 비표준화된 경우에도 강력 규칙이 SAFE보다 우수했으며, 특히 변수 스케일이 크게 차이날 때도 순차적 강력 규칙이 가장 많은 변수를 제외했다. 6. **다른 모델에의 확장** - **Elastic Net**: ℓ₁과 ℓ₂ 페널티가 혼합된 경우에도 동일한 슬로프 가정을 적용해 강력 규칙을 도출한다. - **라쏘형 로지스틱 회귀**: 로그우도와 ℓ₁ 페널티의 결합에서도 KKT 조건을 변형해 강력 규칙을 적용한다. - **그래픽 라쏘**: 고차원 공분산 행렬의 희소 추정 문제에 강력 규칙을 사용하면 차원 축소 후 좌표 하강법을 적용해 연산량을 크게 줄일 수 있다. 7. **이론적 보장 조건** 저자들은 설계 행렬 X가 “mutual incoherence” 혹은 “restricted eigenvalue” 조건을 만족하면 슬로프 가정이 항상 성립한다는 충분조건을 제시한다. 이러한 조건 하에서는 강력 규칙이 완전하게 안전해져 KKT 검증 단계가 불필요해진다. 8. **결론 및 의의** 강력한 규칙은 기존 SAFE 규칙보다 훨씬 공격적으로 변수를 제외하면서도, KKT 기반 검증을 통해 최적해의 정확성을 유지한다. 특히 고차원( p≫N ) 데이터 분석, 대규모 유전체·이미지·텍스트 데이터 등에 적용하면 계산 효율성을 크게 향상시킬 수 있다. 논문은 이 방법을 glmnet 패키지에 구현하고, 실험 코드와 데이터셋을 공개함으로써 재현성을 확보하였다.