부트스트랩으로 강화된 라소: 일관된 변수 선택 Bolasso
본 논문은 Lasso의 모델 일관성에 대한 정밀한 비대칭 분석을 수행하고, 정규화 파라미터가 \( \mu_n = \mu_0 n^{-1/2} \) 로 감소할 때 변수 선택이 확률적으로 어떻게 동작하는지를 밝혀낸다. 이 특성을 이용해 부트스트랩 샘플들의 Lasso 해의 지원 집합을 교집합하면, 기존 Lasso가 만족해야 하는 강한 상관 조건 없이도 일관된 변수 선택이 가능함을 증명한다. 제안된 알고리즘인 Bolasso는 합성 데이터와 UCI 실험을…
저자: Francis Bach (INRIA Rocquencourt)
본 논문은 Lasso(Least‑Absolute‑Shrinkage‑and‑Selection‑Operator)라는 ℓ₁ 정규화 선형 회귀 방법의 모델 일관성(즉, 진짜 비제로 계수를 정확히 복원하는 능력)을 정밀하게 분석하고, 이를 개선하기 위한 새로운 알고리즘 Bolasso(bootstrap‑enhanced Lasso)를 제안한다.
1. **문제 정의 및 가정**
- 데이터는 i.i.d. \((X_i, Y_i)\) 로, \(Y = X^\top w + \varepsilon\) 형태이며, \(\varepsilon\)는 평균 0, 분산 \(\sigma^2\)인 잡음이다.
- 가정 (A1)‑(A3)은 순간생성함수의 유한성, 공분산 행렬 \(Q = \mathbb{E}
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기