중첩 그룹 라쏘의 이론적 특성

본 논문은 Jacob, Obozinski, Vert(2009)가 제안한 ‘중첩 그룹 라쏘(overlapping groups lasso)’에 대한 이론적 특성을 두 차원에서 체계적으로 탐구한다. 첫 번째 차원은 유한 표본 상황에서의 예측 및 추정 오차에 대한 상한(bound)이며, 두 번째 차원은 점근적 분포와 변수 선택 일관성(selection consistency)에 관한 결과이다. 전체 흐름은 다음과 같다. **1. 연구 배경 및 문제 정의** 전통적인 라쏘(lasso)는 개별 변수의 희소성을 촉진하지만, 변수 간에 구조적 관계가 존재할 때는 그룹 라쏘(group lasso)가 더 적합하다. 그러나 실제 데이터에서는 하나의 변수가 여러 의미 있는 그룹에 동시에 속할 수 있다. 이를 반영하기 위해 중첩 그룹 라쏘는 각 변수에 대해 여러 그룹 페널티를 동시에 부과한다. 논문은 이러한 중첩 구조가 통계적 성능에 미치는 영향을 정량적으로 규명하고자 한다. **2. 모델 설정** 선형 회귀 모델 \(y = X\beta^{*} + \varepsilon\)를 가정한다. 여기서 \(X\in\mathbb{R}^{n\times p}\), \(\beta^{*}\in\mathbb{R}^{p}\), \(\varepsilon\)는 평균 0, 분산 \(\sigma^{2}\)인 독립 잡음이다. 변수 집합은 사전 정의된 그룹 컬렉션 \(\mathcal{G}=\{G_{1},\dots,G_{M}\}\)에 의해 구조화되며, 각 그룹은 임의의 부분집합이며 중첩을 허용한다. 중첩 그룹 라쏘는 다음 최적화 문제를 푼다. \