중첩 그룹 라쏘와 잠재 그룹 라쏘 접근법

초록

**
본 논문은 겹치는 변수 그룹을 사전 정의하고, 각 그룹에 대한 잠재 변수들을 도입한 뒤 ℓ₁/ℓ₂ 규제를 적용함으로써, 모델의 지원(support)이 그룹들의 합집합 형태가 되도록 하는 새로운 정규화 기법인 “잠재 그룹 라쏘(Latent Group Lasso)”를 제안한다. 규제 함수의 수학적 성질을 분석하고, 가중치 선택의 중요성을 논의하며, 시뮬레이션 및 유방암 유전자 발현 데이터에 대한 실험을 통해 방법의 효용을 입증한다.

**

상세 분석

**
잠재 그룹 라쏘는 기존 그룹 라쏘가 비중첩(분할)된 그룹에만 적용될 수 있다는 한계를 극복한다. 겹치는 그룹이 존재할 경우, 전통적인 ℓ₁/ℓ₂ 규제는 변수들을 개별적으로 0으로 만들면서도 그룹 전체를 선택하지 못한다. 이를 해결하기 위해 저자들은 각 그룹 g에 대해 지원이 g에 포함되는 잠재 벡터 vᵍ를 도입하고, 원래 파라미터 w를 모든 잠재 벡터의 합 w = Σ₍g∈G₎ vᵍ 로 표현한다. 이후 ℓ₂ 노름의 합에 가중치 d_g를 곱한 ℓ₁ 형태의 규제 Σ₍g∈G₎ d_g‖vᵍ‖₂ 를 최소화한다. 이 과정에서 어떤 그룹의 잠재 벡터가 0이 되면 해당 그룹에 속한 모든 변수는 자동으로 0이 되며, 반대로 비제로인 잠재 벡터는 그 그룹 전체를 활성화한다. 따라서 최적해 ŵ의 지원은 선택된 그룹들의 합집합이 된다.

수학적으로 Ω_{G∪}(w) = min_{v∈V_G, Σvᵍ=w} Σ d_g‖vᵍ‖₂ 로 정의되는 이 규제는 실제로 노름임을 증명하고, 다양한 변형(예: 변수 복제, 다중 커널 학습)과 동등함을 보인다. 특히, 변수 복제(view of covariate duplication) 관점에서는 각 그룹마다 복제된 변수들을 만들고, 복제된 변수들에 대해 표준 그룹 라쏘를 적용하는 것과 동일함을 보여준다. 이는 기존 최적화 알고리즘을 그대로 활용할 수 있게 해준다.

핵심 이론적 기여는 “그룹‑지원(group‑support)” 개념과 그 회복 일관성(consistency) 조건이다. 그룹‑지원은 비제로인 잠재 벡터들의 집합을 의미하며, 이는 전통적인 지원 회복보다 강한 개념이다. 저자들은 고차원 선형 회귀 모델에서 Ω_{G∪} 정규화를 적용했을 때, 적절한 가중치 선택과 샘플 수가 충분히 클 경우, 실제 그룹‑지원이 정확히 복원된다는 정리를 제시한다. 가중치 d_g는 그룹 크기와 겹침 정도에 따라 조정되어야 하며, 부적절한 선택은 과도한 편향이나 과소 선택을 초래한다. 논문은 가중치를 1/√|g| 형태로 설정하는 것이 일반적으로 좋은 성능을 보인다고 제안한다.

실험에서는 두 가지 시나리오를 다룬다. 첫째, 인공 데이터에서 지원 회복률, 추정 오차, 가중치 민감도를 평가했으며, 잠재 그룹 라쏘가 전통적인 라쏘 및 기존 겹치는 그룹 라쏘보다 높은 회복률을 보였다. 둘째, 유방암 환자의 유전자 발현 데이터를 이용해 생물학적 경로와 상호작용 네트워크를 그룹으로 정의하고, 예후 예측 모델을 구축했다. 결과는 그룹 기반 선택이 개별 유전자 선택보다 더 안정적이며, 예측 정확도도 향상됨을 보여준다. 전체적으로 이 논문은 겹치는 구조적 정보를 효과적으로 활용하는 새로운 정규화 프레임워크를 제시하고, 이론적 근거와 실증적 증거를 모두 제공한다.

**