LASSO 해석을 위한 비영점 증가 충분조건

초록

본 논문은 ℓ₁ 정규화 최소제곱(LASSO) 문제에서 하이퍼파라미터 λ가 감소할 때 해의 비영점 개수가 단조히 증가하도록 보장하는 충분조건을 제시한다. 핵심 조건은 정규행렬 AᵀA의 역행렬이 행 대각우세(diagonally dominant)임을 요구하며, 이는 기존의 Donoho의 상호코히런스 기반 조건이나 Efron의 양극 조건보다 검증이 쉽고 신호의 희소도 가정을 필요로 하지 않는다. 또한 1차 미분을 적용한 총변동(total variation) 정규화에도 동일한 결과를 확장한다. 실험을 통해 무작위 행렬이 차원비가 클수록 해당 조건을 만족할 확률이 높음을 확인하였다.

상세 분석

논문은 ℓ₁ norm이 부과된 최소제곱 문제 u* (λ)=arg min ½‖y−Au‖₂²+λ‖u‖₁의 해 경로(solution path)를 분석한다. 기존 연구에서는 해가 λ에 따라 조각별 선형(piecewise‑linear)으로 변하고, Homotopy·LARS 알고리즘이 λ를 무한대에서 점차 감소시키며 활성 집합 I(λ)={i|u_i≠0}를 갱신한다는 사실을 이용했다. 그러나 일반적인 경우 활성 집합은 “추가·제거”가 번갈아 일어나며 복잡도가 증가한다. 저자는 활성 집합의 원소 수가 λ가 감소할 때 절대적으로 늘어나는(k‑step solution property) 충분조건을 찾고자 한다.

핵심 정리는 “AᵀA의 역행렬 (AᵀA)⁻¹이 행 대각우세(diagonally dominant, DD)이다”는 가정이다. DD 행렬은 각 행의 대각원소가 그 행의 비대각 원소 절댓값 합보다 크다는 의미이며, Lemma 1에 의해 DD 성질은 주대각소 행렬을 추출하고 역을 취해도 보존된다. 이를 이용해 KKT 조건 Aᵀ(Au* )+λs*=Aᵀy(여기서 s*는 ℓ₁ norm의 서브그라디언트)에서 비영점 부분과 영점 부분을 순열 P로 구분하고, Ψ=J_k P AᵀA PᵀJ_kᵀ를 정의한다. Ψ⁻¹=R이 DD이므로 각 비영점 성분 u_i(λ)의 미분 du_i/dλ=−∑j r{ij}s_j이 부호가 일정함을 보인다. 즉 λ가 증가하면 |u_i|는 감소하고, 0이 되면 더 이상 변하지 않는다. 따라서 λ가 감소할 때 비영점 개수는 절대적으로 증가한다.

이 조건은 기존 Donoho et al.의 상호코히런스 μ≤1/(2n−3)와 동등함을 Theorem 2와 Corollary 1을 통해 증명한다. μ는 AᵀA의 비대각 원소 최대 절댓값이며, μ≤1/(2n−3)이면 (AᵀA)⁻¹이 DD가 된다. Donoho 조건은 희소도 k를 알아야 적용 가능하지만, 본 조건은 k에 대한 사전 지식이 필요 없으며, 검증도 단순히 (AᵀA)⁻¹의 대각우세 여부만 확인하면 된다.

또한 Efron et al.이 제시한 “양극 조건(positive cone condition)”은 모든 주소행렬 BᵀAᵀAB의 역행렬 행합이 양수임을 요구한다. 논문은 Lemma 1을 이용해 이 조건이 (AᵀA)⁻¹이 엄격 대각우세(strictly DD, SDD)인 경우와 동치임을 보이며, SDD가 DD보다 강한 조건이므로 양극 조건은 충분하지만 필요는 아니다. 즉, 본 논문의 DD 조건은 양극 조건을 완화한 형태라 할 수 있다.

실험에서는 m×n (m>n) 무작위 행렬을 1000번씩 생성하고, (AᵀA)⁻¹이 DD인지 검사하였다. 정규분포, 균등분포, 베르누이(p=0.1, 0.5) 등 다양한 입력 분포에 대해 m≫n일 때 DD 비율이 80 % 이상으로 높아짐을 확인했다. 이는 실제 압축센싱에서 사용되는 랜덤 측정 행렬이 본 조건을 만족할 가능성이 크다는 실용적 의미를 제공한다.

마지막으로 1차 차분 연산 D를 적용한 총변동(total variation) 정규화 ‖Du‖₁에 대해서도 동일한 대각우세 조건이 적용됨을 증명한다. 따라서 영상·신호 복원에서 TV‑LASSO를 사용할 때도 λ 감소에 따라 비영점(즉, 경계점) 수가 단조 증가함을 보장한다.

전반적으로 논문은 (AᵀA)⁻¹의 대각우세성을 통해 LASSO와 TV‑LASSO의 해 경로가 구조적으로 단순해짐을 밝혀, 알고리즘 구현 시 활성 집합 관리 비용을 크게 절감할 수 있음을 이론적으로 뒷받침한다.