스펙트럴 희소화와 후회 최소화: 행렬 MWU를 넘어선 새로운 알고리즘

초록

본 논문은 Batson‑Spielman‑Srivastava(BSS) 방식의 선형 크기 스펙트럴 희소화를 거의 이차 시간(O(n^{2+ε}))에 구현하는 새로운 알고리즘을 제시한다. 핵심 아이디어는 희소화 문제를 밀도 행렬에 대한 후회 최소화 문제와 연결하고, 기존 행렬 곱셈 가중치 업데이트(MWU)를 FTRL(Follow‑the‑Regularized‑Leader) 프레임워크 내의 일반화된 정규화 함수(ℓ_{1‑1/q} 정규화)로 확장함으로써 알고리즘을 가속화한다.

상세 분석

이 논문은 스펙트럴 희소화와 온라인 학습 이론 사이의 깊은 연관성을 밝히는 데 중점을 둔다. 기존 BSS 알고리즘은 잠재 함수(potential function)를 이용해 그래프 라플라시안의 최소·최대 고유값을 제어했지만, 그 구현은 O(n^4) 수준의 복잡도를 갖었다. 저자들은 이를 밀도 행렬(트레이스 1인 PSD 행렬) 위에서 정의되는 후회 최소화 문제로 재구성한다. 후회 최소화는 FTRL 프레임워크에서 정규화 함수 w(·)에 의해 완전히 결정되며, 전통적인 MWU는 엔트로피 정규화(w(x)=∑x_i log x_i)와 동일한 형태임을 보여준다. 여기서 저자들은 ℓ_{1‑1/q} 정규화(w(X)=−(q/(q−1))·Tr X^{1‑1/q})를 도입한다. 이 정규화는 폭(width) 항을 |F_k|∞ 대신 로컬 노름 ‖F_k‖{X_k}=max_i|f_{k,i}|√{x_{k,i}} 로 바꾸어, BSS에서 발생하는 n 규모의 폭을 크게 감소시킨다. 또한, 직관적으로 직경(diameter) 항이 로그 n 대신 √n 수준으로 증가하지만, 로컬 노름이 충분히 작아지는 경우 전체 후회가 O(√{n·T}) 이하로 유지된다. 이러한 트레이드오프는 q=2일 때 BSS와 거의 동일한 업데이트를 재현하고, q>2일 때는 더 가벼운 연산(특히 행렬 거듭제곱 대신 행렬 곱셈)으로 구현 가능하게 만든다. 결과적으로, 알고리즘은 O(m n^{1+1/q}/ε^5) 시간에 O(√q·n/ε^2)개의 에지를 갖는 (1+ε) 스펙트럴 희소화를 생성한다. q를 상수(예: q=4,8)로 잡으면 전체 복잡도는 거의 이차에 가깝다. 또한, 이 방법은 랭크‑1 PSD 행렬 합의 일반화된 희소화에도 적용 가능해, 기존 O(n^4) 알고리즘을 O(n^{3+1/q}) 수준으로 개선한다. 논문은 정규화 선택에 따른 Bregman 발산의 성질, 트위크드 미러 디센트 분석, 그리고 행렬 로그·지수 연산의 수치적 구현 방식을 상세히 제시한다. 마지막으로, 고차원 하이퍼그래프, 약한 비가중 그래프, 그리고 SDP 솔루션 희소화와 같은 확장 문제에 대한 적용 가능성을 논의한다.