그리디와 서브모듈러 비율이 이끄는 최적 변수·사전 선택

초록

이 논문은 선형 회귀에서 목표 변수 Z를 예측하기 위해 k개의 변수만을 선택하는 서브셋 선택 문제와, 다수 목표에 대한 사전(dictionary) 선택 문제를 다룬다. 저자는 기존의 코히런스·RIP 기반 이론이 지나치게 강한 가정을 요구하는 반면, “서브모듈러 비율”(submodularity ratio)이라는 새로운 지표를 도입해 그리디 알고리즘(Forward Regression, Orthogonal Matching Pursuit)의 근사 보장을 크게 강화한다. 또한 서브모듈러 비율이 최소 k‑희소 고유값과 직접 연결됨을 보이며, 실험을 통해 서브모듈러 비율이 실제 성능을 가장 잘 예측한다는 점을 입증한다.

상세 분석

본 논문은 선형 회귀 기반의 서브셋 선택을 “R²”라는 집합 함수 f(S)=b_SᵀC_S⁻¹b_S 로 정형화한다. 이 함수는 일반적으로 비서브모듈러이며, 기존 이론은 변수 간 상관도가 낮은 경우(코히런스 μ≪1/k) 혹은 제한등가성(RIP) 등 강한 스펙트럴 조건을 전제로 근사 비율을 제시했다. 그러나 실제 데이터는 고상관, 거의 특이적인 공분산 행렬을 갖는 경우가 많아 이러한 보장은 실용성이 떨어진다.

저자는 “서브모듈러 비율 γ_{U,k}(f)”를 정의하여, 임의의 현재 집합 L과 추가 후보 집합 S에 대해 marginal gain의 평균이 전체 gain에 비해 얼마나 손실되는지를 정량화한다. γ가 0에 가깝다면 f는 거의 서브모듈러이며, γ가 1이면 완전 서브모듈러가 된다. 중요한 점은 γ가 공분산 행렬 C의 최소 k‑희소 고유값 λ_min(C,k) 로부터 하한을 가진다는 사실이다. 즉, λ_min이 0에 가까워도 γ는 여전히 양의 값을 유지할 수 있어, 기존 스펙트럴 기반 보정보다 완화된 조건에서 근사 보장을 얻을 수 있다.

그리디 알고리즘에 대한 분석에서는 두 가지 대표적 방법을 다룬다. 첫 번째는 Forward Regression(FR)으로, 매 단계마다 현재 잔차와 가장 높은 상관을 보이는 변수를 추가한다. 두 번째는 Orthogonal Matching Pursuit(OMP)로, 현재 선택 집합에 직교화된 잔차에 가장 큰 내적을 갖는 변수를 선택한다. 논문은 γ와 λ_min(C,k)를 이용해 각각 다음과 같은 근사 비율을 증명한다.

• FR: 1−e^{−γ} 배 optimal, 즉 f(S_FR) ≥ (1−e^{−γ})·f(S^*)
• OMP: 1−e^{−γ·λ_min(C,k)} 배 optimal

특히 OMP의 경우 λ_min이 작아도 γ가 충분히 크면 여전히 강력한 보장을 제공한다. 이는 기존의 “코히런스 μ 기반” 보증이 μ≈1/k 이상에서 무용지물이 되는 상황을 극복한다.

다음으로 사전 선택(dictionary selection) 문제로 확장한다. 여기서는 다수 목표 Z_j에 대해 각각 k개의 사전 원소를 선택해 평균 R²를 최대화한다. 기존 연구(Krause & Cevher)는 “근사 서브모듈러” 개념을 사용했지만, 보장은 γ·λ_max·(1−1/e) 형태로 매우 느슨했다. 본 논문은 동일한 서브모듈러 비율 프레임워크를 적용해 SDS‑MA(그리디 사전 선택 알고리즘)의 근사 비율을 γ·λ_max·(1−1/e) 로 개선한다. 이는 실제 실험에서 기존 방법보다 현저히 높은 성능을 보인다.

실험 부분에서는 합성 데이터와 두 개의 실제 데이터셋(예: 유전자 발현, 이미지 피처)에서 FR, OMP, L1‑relaxation(Lasso) 등을 비교한다. 결과는 (1) 공분산 행렬이 거의 특이점에 가까워도 γ가 크게 유지되어 그리디 알고리즘이 높은 R²를 달성하고, (2) γ가 코히런스 μ보다 예측력이 뛰어나며, (3) λ_min이 작아도 γ가 충분히 크면 여전히 좋은 근사 비율을 얻는다는 것을 보여준다.

핵심 기여는 다음과 같다.

1. 서브모듈러 비율이라는 새로운 지표를 도입해 그리디 알고리즘의 성능을 스펙트럴 특성(λ_min)과 연결, 기존 코히런스·RIP 기반 보정보다 약한 가정으로 강력한 근사 보장 제공.
2. Forward Regression과 Orthogonal Matching Pursuit에 대해 각각 1−e^{−γ}와 1−e^{−γ·λ_min} 형태의 멀티플리케이티브 근사 비율을 증명.
3. 사전 선택 문제에 동일한 프레임워크 적용, 기존 SDS‑MA 보증을 크게 개선.
4. 실험을 통해 서브모듈러 비율이 실제 성능을 가장 잘 예측한다는 실증적 증거 제공.

이러한 결과는 고상관, 거의 특이적인 데이터에서도 그리디 기반 변수 선택이 실용적이며, 서브모듈러 비율을 사전에 추정함으로써 알고리즘 선택과 파라미터 튜닝을 보다 이론적으로 정당화할 수 있음을 시사한다.