저차원 근사와 서브스페이스 제한을 활용한 랜덤 좌표 하강법

초록

본 논문은 RPCholesky 기반의 Nyström 저차원 근사를 이용해 좌표 하강법(RCD)의 탐색 공간을 제한하는 SC‑RCD 알고리즘을 제안한다. 이 방법은 큰 고유값(스펙트럴 아웃라이어)으로 인한 수렴 저하를 방지하고, 잔차 행렬의 스펙트럼에만 의존하는 선형 수렴률을 보인다. 메모리 사용량은 근사 차원 d 에 비례하고, 블록 크기 ℓ 에 따라 병렬화가 가능하다. 실험은 커널 릿지 회귀와 같은 고밀도 PSD 시스템에서 기존 RCD·CG 대비 월등한 효율성을 확인한다.

상세 분석

SC‑RCD는 두 단계로 구성된다. 첫 번째 단계에서는 RPCholesky 알고리즘을 사용해 입력 PSD 행렬 A 에 대한 열‑Nyström 근사 A⟨S⟩=FFᵀ를 구한다. 여기서 S 는 적응형 대각선 샘플링으로 선택된 d 개의 피벗 인덱스이며, F 는 하삼각 형태의 저차원 팩터이다. 이 근사는 tr(A−A⟨S⟩) 가 최적 rank‑r 근사의 트레이스 노름에 (1+δ)배 이하가 되도록 보장한다(정리 1.1). 두 번째 단계에서는 RCD의 업데이트를 A⟨S⟩ 가 정의하는 아핀 서브스페이스 {x | A_{S,:}x=b_S} 내에서 수행한다. 구체적으로, 현재 잔차 r_k=Ax_k−b 에 대해 잔차 행렬 A∘=A−A⟨S⟩ 의 대각선 비례 확률로 ℓ 개의 좌표 J⊂