엘원 엘큐 정규화 회귀의 이론적 통합과 고차원 변수 선택

본 연구는 고차원 회귀 분석에서 변수들이 자연스럽게 그룹화된 상황을 대상으로, ℓ₁‑ℓ_q 정규화(1 ≤ q ≤ ∞) 방법의 이론적 특성을 포괄적으로 조사한다. 저자들은 먼저 문제 설정을 명확히 한다. 관측 데이터 (X_i, Y_i), i=1,…,n은 선형 모델 Y = Xβ* + ε를 따른다고 가정하고, 전체 변수 수 mₙ는 pₙ개의 그룹으로 나뉘며, 각 그룹 j는 d_j개의 변수를 포함한다. 여기서 pₙ≫n이며, 실제 활성 그룹 수 sₙ은 pₙ에 비해 매우 작다. ℓ₁‑ℓ_q 정규화 추정량은 다음 최적화 문제로 정의된다. β̂ₙ = arg min_β { (1/2n)‖Y−Xβ‖₂² + λₙ∑_{j=1}^{pₙ}(d_j)^{1/q'}‖β_j‖_q } q'는 q의 쌍대 지수이며, (d_j)^{1/q'}는 그룹 크기에 대한 스케일 보정이다. q=1이면 전통적인 Lasso, q=2이면 그룹 Lasso, q=∞이면 iCAP(ℓ₁‑ℓ_∞)에 해당한다. **1. 최적해의 구조와 기본 성질** KKT 조건을 이용해 최적해의 필요충분조건을 제시한다(Prop. 2.1). 특히, 서브그라디언트 g_j∈∂‖β_j‖_q는 β_j가 0일 때는 ℓ_{q'}-단위볼에 속하고, 0이 아닐 때는 β_j의 방향에 따라 정해진다. 이를 통해 ℓ₁‑ℓ_q 문제는 블록 좌표 하강법, 내부점법 등 기존 최적화 기법으로 효율적으로 풀 수 있음을 보인다. 또한, 활성 그룹 수 |S(β̂ₙ)|는 표본 수 n을 초과할 수 없으며, 필요시 비활성 그룹을 0으로 설정해 n 이하의 활성 그룹을 갖는 해를 구성할 수 있다(Prop. 2.2). **2. 변수 선택 일관성 (R1)** 변수 선택 일관성은 추정된 활성 그룹 집합 Ŝ가 실제 활성 집합 S와 일치할 확률이 1에 수렴하는 것을 의미한다. 이를 위해 저자들은 ‘그룹 irrepresentable condition’을 도입한다. 이는 비활성 그룹의 설계 행렬이 활성 그룹의 설계 행렬에 의해 과도하게 설명되지 않도록 하는 제약이다. 또한, 최소 신호 강도 ρ*_n = min_{j∈S}‖β*_j‖_∞가 λₙ·(d̄_n)^{1/q'}보다 충분히 커야 한다. 이러한 조건 하에, λₙ를 적절히 선택하면 (R1) 즉, P(Ŝ = S) → 1을 달성한다. q가 커질수록 irrepresentable condition은 완화되며, q=∞에서는 가장 약한 형태가 된다. **3. 추정 일관성 및 예측 오차 (R2, R3)** 고정 설계 상황에서 ‘restricted eigenvalue’ 혹은 ‘compatibility’ 조건을 가정한다. 이 조건은 설계 행렬 X가 활성 그룹에 대해 충분히 좋은 기저를 제공한다는 의미이며, 그룹 크기가 n에 비해 작아야 한다는 전제가 포함된다. λₙ를 O(√(log mₙ / n)) 수준으로 잡으면, ‖β̂ₙ−β*‖₁ = O_p(sₙ·d̄_n·√(log mₙ / n)) (R2) 1/n‖Xβ̂ₙ−Xβ*‖₂² = O_p(sₙ·d̄_n·log mₙ / n) (R3) 를 얻는다. 여기서 d̄_n = max_j d_j, mₙ = Σ_j d_j이며, sₙ·d̄_n는 전체 활성 변수 수에 해당한다. 이 결과는 기존 Lasso와 그룹 Lasso의 오라클 부등식 결과를 ℓ₁‑ℓ_q 전반에 걸쳐 일반화한다. **4. 모델 오차가 존재하는 경우 (R3\*)** 선형 모델 가정이 깨질 경우에도, 즉 실제 회귀 함수 f*가 비선형일 때, 동일한 λₙ 선택과 약한 ‘희소성’ 가정(활성 그룹 외에 대부분의 변수는 거의 0에 가깝다) 하에 1/n‖Xβ̂ₙ−f*‖₂² = O_p(s'·d̄_n·log mₙ / n) (R3\*) 를 얻는다. 여기서 s'는 비선형 함수에 의해 효과적으로 선택된 그룹 수이다. **5. 퍼시스턴시 (R4)** 무작위 설계 상황에서는 위험 함수 R_Fₙ(β)=E