동적 근접 경사법으로 구현하는 SVD‑프리 Schatten‑p 준노름 최적화

초록

본 논문은 Schatten‑p(0≤p≤1) 준노름 정규화 문제를 풀기 위해, 매 반복마다 전통적인 특이값 분해(SVD)를 수행하지 않는 동적 근접 경사 알고리즘(DPGA)을 제안한다. Cayley 변환을 이용해 직교 행렬을 효율적으로 업데이트하고, 특이값에 대해서는 근접 연산을 적용한다. 두 가지 스텝 사이즈 전략(백트래킹 및 명시적 규칙)을 제시하며, Kurdyka‑Łojasiewicz(KL) 성질을 이용해 모든 p에 대해 서브선형 수렴을, p=1인 경우에는 엄격 보완성 가정 하에 선형 수렴을 이론적으로 증명한다. 실험 결과는 기존 SVD 기반 방법 대비 10배 이상 빠른 계산 속도와 높은 수렴 성공률을 보여준다.

상세 분석

논문은 먼저 Schatten‑p 준노름 ‖X‖{S_p}= (∑{i=1}^n σ_i^p)^{1/p} (p∈(0,1])와 ‖X‖{S_0}=rank(X)를 정의하고, 선형 관측 A·X≈b와 정규화 항 λ‖X‖{S_p}을 결합한 목적함수 F(X)=½‖A(X)−b‖2^2+λ‖X‖{S_p}를 최소화하는 문제(1.1)를 다룬다. 기존 방법들은 매 반복마다 전체 SVD를 수행해야 하므로 대규모 행렬에 비효율적이었다. 저자들은 임의의 근사 해 ˆX=ˆU^T D(ˆσ)ˆV의 SVD를 이용해 원문제를 σ, E, F∈ℝ^n×S(m)×S(n) 공간의 변수로 변환한다. 여기서 E, F는 스키워 대칭 행렬이며, Cayley 변환 I±½E, I±½F를 통해 직교 행렬 U, V를 업데이트한다. 이 과정은 연산량이 O(mn) 수준으로, 전형적인 SVD O(mn·min(m,n))보다 현저히 적다.

알고리즘은 다음 두 단계로 구성된다. (1) σ에 대해 t_k 스텝 사이즈를 사용해 근접 연산 prox_{t_k λ‖·‖p^p}(σ_k−t_k∇σ f_Ωk) 를 수행, 이는 p=0,½,2/3,1에 대해 폐쇄형 해를 갖는다. (2) E_k와 F_k를 s_k 스텝 사이즈로 정의하고, (2.7)(2.8)식의 Cayley 변환을 풀어 U{k+1}, V{k+1}를 얻는다. 두 스텝 사이즈는 (i) 충분한 감소 조건을 만족하도록 백트래킹으로 조정하거나, (ii) Lipschitz 상수와 현재 기울기에 기반한 명시적 구간 안에서 선택한다.

수렴 분석에서는 먼저 충분한 감소 성질(2.9)를 증명하고, 이를 바탕으로 KL-지수 θ∈