라쏘 추정량의 일반적 균일 유일성 조건

초록

본 논문은 선형 회귀에서 ℓ₁ 패널티를 적용한 라쏘(LASSO) 추정량의 해가 언제 유일하게 존재하는지를 설계 행렬만을 기준으로 판단하는 충분조건을 제시한다. 저자들은 ‘일반 위치(general position)’ 조건을 도입하여, 대부분의 실험적 모델에서 확률 1로 만족되는 행렬 특성을 규명하고, 이를 통해 라쏘 경로 분석 및 알고리즘 안정성에 필요한 유일성을 보장한다.

상세 분석

라쏘는 ‖y−Xβ‖₂²/2 + λ‖β‖₁ 형태의 목적함수를 최소화함으로써 변수 선택과 정규화를 동시에 수행한다. 그러나 ℓ₁ 규제는 목적함수가 볼록(convex)하지만 비엄격(strict)하기에, 최적해가 다중일 가능성이 존재한다. 다중해가 발생하면 라쏘 경로를 추적하는 LARS(LARS‑LASSO)와 같은 알고리즘이 불안정해지고, 해석적 해석(예: 변수 선택 일관성)에도 장애가 된다. 기존 연구들은 (i) X가 완전 순위(full rank)이고 λ>0이면 해가 유일하다는 일반적인 결과, (ii) ‘irrepresentable condition’이나 ‘restricted eigenvalue condition’과 같이 응답벡터 y와 연관된 조건, (iii) ‘strict complementarity’와 같은 선형계획(LP) 관점의 조건 등을 제시했지만, 대부분은 y에 의존하거나 검증이 어려운 형태였다.

본 논문은 이러한 한계를 극복하고자, 설계 행렬 X 자체만을 대상으로 하는 ‘일반 위치(general position)’ 조건을 정의한다. 구체적으로, X의 모든 컬럼 집합이 ℝⁿ에서 일반 위치에 놓여 있다는 것은, 어떤 k(≤n)개의 컬럼을 선택하더라도 그들의 선형 결합이 다른 컬럼들의 선형 결합과 교차하지 않으며, 또한 그들의 절대값 벡터가 동일한 부호 패턴을 가질 수 없다는 의미이다. 이러한 조건은 확률론적으로 “무작위” 행렬—예를 들어 연속 확률밀도함수를 갖는 독립 표본으로 구성된 행렬—에 대해 거의 확실히 만족한다.

저자들은 먼저 라쏘 최적조건인 서브그라디언트 방정식 0∈Xᵀ(Xβ̂−y)+λ·∂‖β̂‖₁을 이용해, 해 β̂가 비제로인 인덱스 집합 S에 대해 X_S가 전치역행렬을 갖는 경우에만 해가 유일함을 보인다. 여기서 일반 위치 조건은 어떤 두 서로 다른 지원 집합 S₁, S₂가 동일한 λ에 대해 같은 최적값을 만들 수 없게 함으로써, 서브그라디언트 방정식의 해가 하나뿐임을 보장한다.

또한, 저자들은 이론적 증명을 다면체(polytope)와 선형계획의 기본 해(basic feasible solution) 개념을 활용해 전개한다. 라쏘 문제는 λ가 고정된 경우에 선형계획의 형태로 변환될 수 있으며, 일반 위치 조건은 해당 LP의 기본 해가 항상 비퇴화(non‑degenerate)임을 의미한다. 비퇴화 LP는 최적해가 유일함을 보장하므로, 라쏘 해 역시 유일함을 얻는다.

이와 같은 접근법은 기존 조건과 달리 y와 λ에 대한 어떠한 가정도 필요 없으며, 설계 행렬만으로 유일성을 판단할 수 있다는 실용적 장점을 제공한다. 특히, 고차원 데이터( p≫n ) 상황에서도 X가 일반 위치를 만족한다면, 라쏘 해는 언제나 유일하고, 따라서 LARS와 같은 경로 추적 알고리즘이 정확히 작동한다.

마지막으로, 논문은 일반 위치 조건이 “거의 확실히” 만족한다는 확률적 논증을 제공한다. 연속적인 확률분포를 갖는 행렬 원소들을 갖는 경우, 특정 선형 종속성이나 부호 패턴이 발생할 확률은 0이므로, 실험적 설계에서 이 조건을 별도로 검증할 필요가 거의 없다는 결론을 내린다. 이는 라쏘의 이론적 분석과 실무 적용 사이의 격차를 크게 줄이는 중요한 기여라 할 수 있다.