빠르고 정확한 고차원 행렬 널스페이스 계산을 위한 랜덤화 LOBPCG

초록

본 논문은 매우 긴(행이 많고 열이 적은) 행렬의 최소 특이값에 대응하는 몇 개의 특이벡터를 효율적으로 구하기 위해, 스케치‑프리컨디셔닝과 LOBPCG(eigensolver)를 결합한 RLOBPCG 알고리즘을 제안한다. 서브스페이스 임베딩을 이용한 랜덤 스케치를 통해 고품질 프리컨디셔너를 구성하고, 이를 Gram 행렬 AᵀA에 적용해 기하급수적 수렴을 보장한다. 실험에서는 10⁶ 행까지 확장 가능한 성능을 보이며, 기존 LOBPCG와 Lanczos 대비 최대 12배 빠른 속도와 높은 정확도를 달성한다.

상세 분석

RLOBPCG는 크게 네 단계로 구성된다. 첫 번째 단계에서는 d=O(n) 혹은 d=O(n log n) 차원의 랜덤 스케치 행렬 S를 생성한다. 이때 S는 서브스페이스 임베딩 특성을 만족하도록 설계되며, 일반적으로 SRHT, CountSketch, 혹은 희소 조합 행렬이 사용된다. 두 번째 단계에서는 SA를 계산하고, SVD(SA)=U Σ V* 를 수행한다. 여기서 Σ⁻¹와 V를 이용해 프리컨디셔너 P=V Σ⁻¹를 만든다. 세 번째 단계에서는 초기 벡터 v₀를 V의 마지막 열(최소 특이벡터)로 설정하고, 이를 정규화한다. 네 번째 단계는 LOBPCG를 AᵀA에 적용하는 부분으로, 검색 방향 wᵢ는 P P* Aᵀ(Avᵢ)−‖Avᵢ‖² vᵢ 로 정의된다. 이후 wᵢ를 현재 두 벡터(vᵢ, xᵢ)와 직교화하고 정규화한 뒤, 3‑차원 시도 공간 T=