안전한 특징 제거와 라쏘 기반 희소 학습

초록

본 논문은 LASSO와 일반적인 ℓ₁-정규화 문제에서 해답에 포함되지 않을 변수를 사전에 안전하게 제거하는 방법을 제시한다. 이 방법은 이중 문제와 최적성 조건을 이용해 각 특징에 대한 상한을 계산하고, 상한이 페널티 파라미터보다 작으면 해당 특징을 제거한다. 연산 비용은 단일 그래디언트 스텝 수준에 불과해 대규모 데이터에서도 효율적으로 적용 가능하며, Sparse SVM·Logistic Regression 등 다른 ℓ₁-정규화 모델에도 확장된다.

상세 요약

논문은 ℓ₁-패널티가 부여된 최소제곱 회귀, 즉 LASSO 문제를 대상으로 “안전한(feature‑safe) 제거” 기법을 고안한다. 핵심 아이디어는 원문(Lagrangian) 문제의 쌍대 형태를 활용해 최적해의 KKT 조건을 통해 각 변수의 절대값이 최적해에서 가질 수 있는 최대치를 추정하는 것이다. 구체적으로, 원문 문제는
\