그리디 기반 고차원 희소 역공분산 추정

본 연구는 고차원 가우시안 마코프 랜덤 필드(GMRF)의 구조를 복원하는 문제에 초점을 맞춘다. 변수 수 p 가 매우 크고, 실제 데이터는 제한된 샘플 n 에서 관측되기 때문에, 역공분산 행렬 Θ* 의 희소성을 가정한다. Θ* 의 비대각 원소가 0이면 해당 변수 쌍 사이에 에지가 없으며, 이는 그래프 G=(V,E) 로 표현된다. 목표는 샘플 공분산 Σ̂ 로부터 E 를 정확히 추정하는 것이다. 전통적인 접근법은 ℓ₁ 정규화된 로그-결정식 최적화, 즉 그래픽 라쏘(Graphical Lasso)를 이용한다. 이 방법은 convex 최적화 문제로 풀 수 있지만, 이론적으로는 샘플 복잡도가 O(d² log p) 필요하고, irrepresentable 조건이라는 강한 가정을 요구한다. 이러한 제약은 실제 고차원 데이터에서 비현실적일 수 있다. 이에 저자들은 두 가지 그리디 기반 알고리즘을 제안한다. 첫 번째는 Global Greedy, 즉 전체 역공분산 행렬을 직접 추정한다. 초기값을 단위 행렬 I 로 두고, 손실 함수 L(Θ)=⟨Θ,Σ̂⟩−log det Θ 를 최소화한다. 전방 단계에서는 현재 활성 집합 S에 포함되지 않은 (i,j) 쌍 중 손실 감소량이 가장 큰 것을 선택하고, 최적 스칼라 α 를 구해 Θ←Θ+α(e_{ij}+e_{ji}) 로 업데이트한다. 감소량이 사전 정의된 임계값 ε_S 이하가 되면 전방을 종료한다. 후방 단계에서는 현재 활성 변수 중 기여도가 ν·ε_f 보다 작으면 제거한다. 이 과정은 손실이 (1−ν)·ε_f 이상 감소함을 보장하므로, 유한 단계 내에 수렴한다. 두 번째는 Local Greedy, 즉 각 노드별 이웃을 개별적으로 추정한다. 변수 X_r 를 나머지 변수들에 대한 조건부 분포로 보면, 평균은 선형 결합 X_{V\{r\}} γ_r 로 표현된다. 따라서 최소제곱 손실 L_r(γ)=½‖X_r−X_{V\{r\}}γ‖² 를 사용해 γ_r 를 추정하면, γ_r 의 비영점이 바로 r의 이웃 집합 N(r) 와 일치한다. 각 노드에 대해 전방‑후방 그리디를 적용하고, 얻어진 이웃들을 합쳐 전체 그래프를 복원한다. 이론적 분석에서는 제한 고유값(RE)와 제한 매끄러움(RS) 조건을 도입한다. Θ* 의 행당 최대 비영점 수를 d 로 정의하고, Σ* 가 C_min‖Δ‖_F ≤ ⟨Σ*,Δ⟩ ≤ ρ C_min‖Δ‖_F 를 만족하면, 표본 공분산 Σ̂ 역시 동일한 비율로 수렴한다(확률 1−c₁e^{−c₂n}). Lemma 1·2·3을 통해 손실 L(Θ) 가 강한 볼록성 및 매끄러움을 갖는 것을 보이고, Zhang·Jalali의 일반 그리디 수렴 이론을 적용한다. 결과적으로, ε_S 를 (2cη/ρ²)·(d log p)/n 로 설정하고, 최소 신호 강도 |Θ*_{ij}| ≥ (8ε_S)/ρ² 를 만족하면, n = O(d log p) 샘플만으로 false inclusion과 false exclusion을 모두 없앨 수 있다(Theorem 1). Local Greedy 역시 동일한 샘플 복잡도와 약간 더 완화된 RE 조건을 요구한다. 실험에서는 합성 데이터와 실제 유전 데이터 두 가지 환경을 사용했다. 합성 실험에서는 체인, 스타, 랜덤 에라와 같은 다양한 그래프 토폴로지를 설정하고, 차원 p=200,500,1000 에 대해 샘플 수를 0.5d log p 부터 5d log p 까지 변화시켰다. 결과는 두 그리디 방법이 ℓ₁ 기반 방법보다 적은 샘플로 동일 혹은 더 높은 정확도의 구조 복원을 달성함을 보여준다. 특히 d가 큰 경우(예: d≈30)에서 차이가 크게 나타났다. 실행 시간 측면에서도 전방‑후방 절차는 좌표 하강 기반 그래픽 라쏘보다 평균 30%~50% 빠른 것으로 보고되었다. 실제 유전 데이터(유전자 발현)에서도 그리디 방법이 중요한 생물학적 네트워크를 성공적으로 복원했으며, ℓ₁ 방법보다 과도한 에지를 억제하는 경향이 있었다. 결론적으로, 본 논문은 고차원 희소 역공분산 추정에 있어 그리디 알고리즘이 이론적·실험적으로 우수함을 입증한다. 샘플 복잡도가 O(d log p) 로 감소하고, 요구되는 RE 조건이 ℓ₁ 기반 방법보다 약해져 실제 데이터에 적용 가능성이 크게 확대된다. 향후 연구에서는 비가우시안 확장, 동적 그래프 추정, 그리고 병렬 구현을 통한 대규모 데이터 처리 등을 탐색할 수 있다.