라쏘 회귀를 위한 좌표 하강 알고리즘

본 논문은 라쏘(Lasso) 페널티가 적용된 선형 회귀 문제에서 파라미터 추정을 효율적으로 수행할 수 있는 두 가지 좌표 하강 알고리즘을 제시하고, 이를 그룹 라쏘와 결합한 확장 모델까지 다룬다. 서론에서는 라쏘가 변수 선택과 모델 압축에 유리함을 강조하고, 기존의 행렬 연산 기반 방법이 고차원 데이터에서 비효율적이라는 점을 지적한다. 최근 연구(Candes & Tao 2007, Park & Hastie 2006 등)에서 좌표 하강이 높은 효율성을 보였으나, ℓ₁ 회귀에 대한 구체적 구현과 그룹 페널티 적용에 대한 연구는 부족했음을 밝힌다. 2절에서는 ℓ₂ 회귀에 대한 순환 좌표 하강(cyclic coordinate descent) 알고리즘을 상세히 설명한다. 파라미터 벡터 θ=(μ,β₁,…,β_p)와 손실 함수 g(θ)=½∑(y_i−μ−x_i^Tβ)² 를 정의하고, 라쏘 페널티 λ∑|β_j| 를 추가한 목적함수 f(θ)=g(θ)+λ∑|β_j| 를 최소화한다. 각 좌표에 대해 편미분을 계산하고, 소프트-쓰레싱을 적용해 β_j 를 업데이트한다. 잔차 r_i 를 실시간으로 유지함으로써 각 좌표 업데이트가 O(n) 연산으로 가능하고, 전체 반복이 O(np) 수준에 머문다. 또한 탐욕형(greedy) 버전을 소개하는데, 이는 현재 좌표들 중 목적함수 감소량이 가장 큰 좌표를 선택해 업데이트한다. ℓ₂ 경우는 편미분이 존재하므로 방향 미분을 직접 비교해 가장 큰 절댓값을 가진 좌표를 선택한다. 3절에서는 ℓ₁ 회귀에 대한 탐욕형 좌표 하강을 제시한다. 여기서는 g(θ)=∑|y_i−μ−x_i^Tβ| 로 정의되며, 미분이 불가능하지만 앞·뒤 방향 미분이 존재한다. Edgeworth 알고리즘을 재구성해 μ 를 현재 β에 대한 잔차의 중앙값(median)으로, β_k 를 가중 중앙값(weighted median)으로 업데이트한다. 가중치는 |x_{ik}| 로 정의되며, 이는 각 관측치가 해당 좌표에 미치는 영향을 반영한다. 이 과정은 정렬 기반이므로 O(n log n) 복잡도를 갖지만, 전체 좌표를 순환하는 ℓ₂ 방식보다 적은 반복으로 수렴한다. 논문은 Li & Arce(2004)에서 제시된 Edgeworth 알고리즘의 수렴 실패 사례를 언급하면서, 탐욕형 변형이 대부분의 실험에서 안정적으로 수렴함을 보여준다. 4절에서는 알고리즘들의 수렴성을 이론적으로 검토한다. ℓ₂ 순환 알고리즘은 Fu(1998)의 결과와 동일하게, 목적함수가 연속적으로 미분 가능하고 각 좌표 업데이트가 감소를 보장하므로 전역 최소점에 수렴한다. 탐욕형 ℓ₂ 알고리즘에 대해서는 부록에서 모든 클러스터점이 최소점임을 증명하고, 유일한 최소점이 존재한다면 수렴을 보장한다. ℓ₁ 탐욕형 알고리즘은 비미분성 때문에 기존 수렴 이론이 직접 적용되지 않지만, 실험적으로는 대부분의 경우 전역 최소점에 도달한다는 경험적 증거를 제시한다. 5절에서는 그룹 라쏘를 다룬다. 파라미터를 q개의 비겹치는 그룹 γ_j 로 묶고, 그룹별 ℓ₂ 노름 ‖γ_j‖₂ 에 λ_j 를 곱한 페널티를 도입한다. 이때 라쏘 형태의 ‖γ_j‖₁ 은 개별 변수 선택만 가능하므로 부적절하고, ℓ₂ 노름을 사용하면 그룹 전체를 동시에 포함·제외할 수 있다. 논문은 MM(Majorization‑Minimization) 전략을 이용해 ‖γ_j‖₂ 를 상한으로 근사하고, 각 그룹을 하나의 좌표처럼 취급해 기존 ℓ₂ 순환 알고리즘을 그대로 적용한다. 이는 그룹 구조를 유지하면서도 계산 복잡도를 크게 증가시키지 않는다. 6절에서는 λ(또는 λ_j) 선택을 위한 실용적인 교차검증 절차를 제시한다. K‑fold 교차검증을 수행하면서 각 λ 값에 대해 목표 함수와 예측 오차를 평가하고, 최소 검증 오차를 주는 λ 를 최종 모델에 적용한다. 7·8절에서는 시뮬레이션과 실제 데이터(예: 유전자 마이크로어레이) 실험을 통해 제안된 알고리즘의 성능을 검증한다. 시뮬레이션에서는 p≫n 상황에서 ℓ₂ 순환, ℓ₁ 탐욕형, 그리고 그룹 라쏘 확장 모델을 비교했으며, 제안된 방법이 기존 LARS, 경사 하강법, 그리고 선형 프로그래밍 기반 라쏘 솔버보다 5~10배 빠른 계산 속도와 비슷하거나 더 높은 변수 선택 정확도를 보였다. 실제 유전체 데이터에서는 그룹 라쏘가 동일한 유전자 경로에 속한 변수들을 동시에 선택함으로써 해석 가능성을 높였으며, 교차검증을 통한 λ 선택이 모델의 일반화 성능을 유지하는 데 효과적이었다. 9절은 결론으로, 좌표 하강이 라쏘 회귀에 있어 계산 효율성과 구현 단순성 측면에서 매우 유망함을 강조한다. 또한 탐욕형 ℓ₁ 알고리즘과 그룹 라쏘 확장은 다양한 실무 응용(예: 고차원 바이오마커 선택, 이미지 복원)에서 활용될 수 있음을 제시하고, 향후 비선형 모델, 비정규화된 페널티, 그리고 병렬 구현에 대한 연구 방향을 제안한다.