저랭크 행렬값 체르노프 경계와 근사 행렬 곱셈

초록

이 논문은 두 행렬 A∈ℝⁿˣᵐ와 B∈ℝⁿˣᵖ의 전치곱 AᵀB를 스펙트럴 노름 기준으로 ε·‖A‖·‖B‖ 이하의 오차로 근사하기 위한 두 가지 스케치 기법을 제시한다. 하나는 행을 비균등하게 i.i.d. 샘플링하고, 다른 하나는 행들의 무작위 선형 결합을 이용한다. 핵심은 행렬의 실제 차원인 랭크와 안정 랭크(stable rank)에만 의존하는 표본 크기 t를 보장하는 새로운 저랭크 행렬값 체르노프(bound)와, 안정 랭크에 대한 트렁케이션 기법을 결합한 증명이다. 결과적으로 t=O((rank/ε²)·log rank) 혹은 t=O((stable‑rank/ε²)·log stable‑rank) 수준에서 높은 확률로 정확한 근사를 얻는다.

상세 분석

본 연구는 스펙트럴 노름 ‖·‖₂에 대한 행렬 곱셈 근사 문제를 두 단계로 접근한다. 첫 단계는 입력 행렬 A와 B의 행을 t개의 샘플로 압축하여 각각 \tilde{A}∈ℝᵗˣᵐ, \tilde{B}∈ℝᵗˣᵖ을 만든다. 두 번째 단계는 이 두 스케치를 전치곱하여 \tilde{A}ᵀ\tilde{B}를 계산하고, 원래 곱 AᵀB와의 차이를 ‖·‖₂ 기준으로 ε·‖A‖₂·‖B‖₂ 이하로 제한한다. 두 가지 샘플링 방법은 (1) 비균등 확률 p_i∝‖A_{i*}‖₂²+‖B_{i*}‖₂²에 따라 i.i.d. 행을 선택하고, 선택된 행을 1/√(tp_i) 로 스케일링하는 방식과, (2) 각 행을 독립적인 가우시안 또는 서브가우시안 벡터와 내적해 무작위 선형 결합을 만드는 방식이다.

핵심 이론적 기여는 “Low Rank Matrix‑valued Chernoff Bound”이다. 기존의 행렬 체르노프 불평등은 각 샘플이 독립적인 고정 차원의 양수 반정치 행렬일 때만 적용 가능했으나, 여기서는 각 샘플이 실제로는 저랭크(≤rank(A)+rank(B)) 구조를 갖는다는 점을 이용해 기대값과 편차를 더 정밀하게 제어한다. 구체적으로, X₁,…,X_t을 독립적인 랜덤 행렬로 두고 E