고차원 회귀를 위한 최적 설계: 라쏘와 댄치히 선택에 대한 확장자 그래프 기반 매트릭스

초록

본 논문은 불균형 확장자 그래프의 인접 행렬을 설계 행렬로 사용하여 고차원 선형 회귀에서 라쏘(Lasso)와 댄치히 선택(Dantzig selector)의 $\ell_{2}$ 예측 오차와 $\ell_{1}$ 위험을 최적(상수 배) 수준으로 달성함을 보인다. 제시된 설계 행렬은 명시적인 제한 고유값(Restricted Eigenvalue)과 호환성 조건(Compatibility Condition)을 만족하며, Guruswami‑Umans‑Vadhan의 최근 확장자 그래프 구성법을 이용해 결정론적 다항시간 알고리즘으로 생성할 수 있다.

상세 분석

이 연구는 고차원 회귀 문제에서 설계 행렬의 구조적 특성이 추정 정확도에 미치는 영향을 심도 있게 탐구한다. 기존 문헌에서는 주로 무작위 가우시안 혹은 서브가우시안 행렬이 제한 고유값(RE) 혹은 제한 등거리성(RIP) 조건을 만족한다는 확률적 보장을 제공했지만, 실제 시스템에서는 결정론적이고 구현이 용이한 행렬이 필요하다. 저자들은 이러한 요구에 부응하기 위해 불균형(expander) 그래프의 인접 행렬을 설계 행렬로 채택한다. 불균형 확장자 그래프는 작은 집합의 정점이 큰 이웃 집합으로 확장되는 특성을 갖으며, 이는 행렬의 열 간에 높은 상호 독립성을 보장한다. 구체적으로, $(k,\epsilon)$‑expander는 크기 $k$ 이하의 정점 집합 $S$에 대해 이웃 집합 $N(S)$의 크기가 $(1-\epsilon)d|S|$ 이상임을 의미한다($d$는 정점의 차수). 이러한 확장성은 행렬 $X\in\mathbb{R}^{n\times p}$가 다음과 같은 제한 고유값 부등식을 만족하게 만든다.

\