스펙트럼 기반 저랭크와 대각선 혼합 분해의 빠른 알고리즘

초록

본 논문은 대규모 공분산 행렬을 저랭크와 대각선 성분으로 분해하는 새로운 교대 알고리즘(Alt)과, 이를 확장한 랜덤화 버전(Nyström + Diag++)을 제안한다. 이 방법은 기존의 경사 하강법보다 빠르게 오차를 감소시키고, 메이저라이제이션‑최소화보다 계산량이 적으며, 행렬‑벡터 곱만으로 기계 정밀도의 분해를 달성한다. 합성 데이터와 S&P 500 주가 공분산 실험에서 순수 저랭크 근사보다 현저히 낮은 오류를 보였다.

상세 분석

이 논문은 저랭크+대각선(LRPD) 구조를 두 가지 관점에서 재조명한다. 첫 번째는 스펙트럼 해석을 통해, 순수 저랭크 근사보다 대각선 보정이 연산자 노름에서 반드시 개선된다는 정리를 제시한다(정리 2.1). 여기서 핵심은 고유값이 큰 상위 k개의 고유벡터를 이용해 UₖUₖᵀ를 구성하고, 남은 대각 성분을 Σ의 대각에서 UₖUₖᵀ의 대각을 빼는 방식이다. 단순히 Σ의 대각을 빼면 양의 정부호가 깨지는 반면, 제안 방식은 항상 Dₖ⪰0를 보장한다.

두 번째는 교대 알고리즘(Alt)이다. 매 반복마다 현재 대각 성분 D를 고정하고 잔차 R=A−D에 대해 상위 k개의 고유벡터를 추출해 저랭크 U를 업데이트한다. 이후 U Uᵀ의 대각을 다시 빼서 D를 갱신한다. 이 과정은 Eckart‑Young‑Mirsky 정리에 의해 각 단계에서 Frobenius 및 연산자 노름이 최소화됨을 보이며, Davis‑Kahan 정리와 Weyl 부등식을 이용해 대각 오차 ∥Δₜ∥₂가 비증가함을 엄격히 증명한다(정리 2.2). 특히 고유값 간 격차가 없어도 수렴이 보장되는 “스펙트럼 갭 프리” 특성이 강조된다.

대규모 문제에 대한 확장으로는 두 가지 랜덤화 기법을 결합한다. 저랭크 부분은 고정‑랭크 Nyström 스케치를 사용해 Vₖ와 Λₖ를 근사하고, 대각선은 Diag++(Stochastic Diagonal Estimation)를 이용해 diag(Σ−U Uᵀ)를 추정한다. 이 하이브리드는 전체 행렬을 명시적으로 구성하지 않고도 O(k·m)개의 행렬‑벡터 곱(여기서 m≪n)만으로 기계 정밀도의 근사를 얻는다. 오류 분석에서는 Nyström의 샘플링 오차와 Diag++의 편향·분산을 각각 상한화하고, 두 오차가 독립적으로 합산돼 전체 오류가 비선형적으로 증가하지 않음을 보인다.

실험에서는 (1) 정확히 LRPD 형태인 합성 행렬에 대해 20회 이내에 머신 정밀도에 도달하고, (2) 스펙트럼이 느리게 감소하는 S&P 500 공분산에 대해 순수 저랭크(예: 트렁케이션) 대비 평균 상대 Frobenius 오차가 30 % 이상 감소함을 확인했다. 특히 블록‑대각선 확장(섹터별 블록)으로 모델을 일반화했을 때, 글로벌 마켓 요인과 섹터 특성을 동시에 포착해 실용적인 포트폴리오 위험 추정에 유리함을 보였다.

요약하면, 이 논문은 (i) 스펙트럼 기반 교대 최적화가 LRPD 문제를 거의 비선형성 없이 해결한다, (ii) 랜덤화된 스케일‑업이 메모리·시간 복잡도를 크게 낮춘다, (iii) 금융·머신러닝 등 실제 대규모 공분산 추정에 직접 적용 가능하다는 점에서 기존 방법론을 크게 앞선다.