프리컨디셔너 없이 프리컨디셔닝: 랜덤 블록 Krylov 방법으로 더 빠른 Ridge 회귀와 Gaussian 샘플링

초록

본 논문은 랜덤화된 블록 공액경사법(Block‑CG)을 제안한다. 무작위 행렬 Ω를 초기 블록에 추가함으로써 암묵적인 프리컨디셔너 효과를 얻으며, Nyström 기반 프리컨디셔너를 명시적으로 구성하지 않아도 기존 프리컨디셔너보다 빠른 수렴을 보인다. 이 기법은 Ridge 회귀 전체 정규화 경로 계산과 고차원 Gaussian 벡터 다중 샘플링에 최적화된 알고리즘을 제공한다.

상세 분석

이 논문은 양정정(positive‑definite) 행렬 A와 오른쪽 항 b에 대해 (A+μI)x=b 형태의 선형 시스템을 해결하는 새로운 랜덤 블록 Krylov 서브스페이스 방법을 제시한다. 핵심 아이디어는 기존 블록‑CG에 무작위 Gaussian 스케치 행렬 Ω∈ℝ^{d×m}를 추가해 시작 블록 B=