샤프된 오류 경계와 랜덤 샘플링 기반 제곱합 회귀

본 논문은 대규모 선형 회귀 문제, 즉 데이터 행이 많고 열이 비교적 적은 상황에서 최소 제곱 회귀(Least Squares Regression, LSR)를 효율적으로 근사하는 두 가지 랜덤 샘플링 기반 방법을 제시한다. 전통적인 LSR는 행렬 차원 \(n\times d\) 에 대해 Cholesky, QR, SVD 등 직접적인 선형대수 연산을 수행하면 시간 복잡도가 \(O(nd^{2})\), 메모리 복잡도가 \(O(nd)\) 로 급격히 증가한다. 특히 \(n\gg d\) 인 경우, 전체 데이터를 한 번에 메모리에 올리는 것이 현실적으로 불가능할 수 있다. 이를 해결하고자 저자는 행 샘플링 행렬 \(S\in\mathbb{R}^{c\times n}\) ( \(c\ll n\) ) 를 도입해 원본 데이터를 압축하고, 압축된 문제 \(\tilde\beta_{S}=\arg\min_{\beta}\|Sy-SX\beta\|_{2}^{2}\) 를 풀어 원본 해 \(\beta_{\text{lsr}}\) 와의 근사 오차를 제어한다. 첫 번째 방법은 레버리지 점수 기반 샘플링이다. 레버리지 점수는 행의 중요도를 나타내는 통계량으로, \(l_i=\|U_{X}(i,\cdot)\|_{2}^{2}\) 로 정의된다. 여기서 \(U_{X}\)는 \(X\) 의 왼쪽 특이벡터 행렬이며, \(\sum_i l_i = d\) 를 만족한다. 레버리지 점수를 정확히 계산하면 비용이 \(O(nd^{2})\) 로 비싸지만, 기존 연구에서는 랜덤 프로젝션이나 근사 SVD를 이용해 \(O(\text{nnz}(X)\log n)\) 시간 안에 근사값을 얻을 수 있음을 인용한다. 레버리지 점수에 비례해 각 행을 선택하는 확률 \(p_i=\min\{1, cl_i/d\}\) 로 샘플링하고, 선택된 행에 대해 스케일링 행렬 \(D=\operatorname{diag}(p_i^{-1})\) 를 곱해 편향을 보정한다. 기존 문헌에서는 정확도 \((1+\varepsilon)\) 를 보장하려면 샘플 수 \(c\) 가 \(O(d\varepsilon^{-2}\log d)\) 가 필요했으나, 저자는 새로운 확률적 분석을 통해 \(c=O(d\log d + d/\varepsilon)\) 로 충분함을 증명한다. 핵심은 (1) 샘플링 후 행렬 \(SX\) 의 최소 특이값이 \(\sigma_{\min}(SX) \ge (1-\varepsilon)^{1/2}\) 를 만족하도록 하는 확률적 하한, (2) \(U_{X}^{\top}S^{\top}S U_{X}^{\perp}U_{X}^{\perp\top}y\) 항을 \(\varepsilon\) 수준으로 억제하는 마르코프 부등식 적용이다. 이를 통해 최종 오차 경계 \(\|y-X\tilde\beta_{S}\|_{2}^{2}\le (1+\varepsilon)\|y-X\beta_{\text{lsr}}\|_{2}^{2}\) 와 파라미터 추정 오차 \(\|\beta_{\text{lsr}}-\tilde\beta_{S}\|_{2}^{2}\le \varepsilon\sigma_{\min}^{-2}(X)\|y-X\beta_{\text{lsr}}\|_{2}^{2}\) 를 확률 0.8 이상에서 얻는다. 두 번째 방법은 균등 샘플링이다. 가장 간단히 행을 동일 확률로 선택하고, 선택된 행에 대해 동일 스케일링을 적용한다. 균등 샘플링은 레버리지 점수가 균등하게 분포된 경우와 같이 행렬 코히어런스 \(\mu = \max_i l_i\) 가 작을 때 좋은 성능을 보인다. 저자는 행렬 Chernoff 경계와 행렬 베르니에이-코시 부등식을 활용해, 샘플 수 \(c\ge O(\mu d\varepsilon^{-2}\log d)\) 일 때 \(\|y-X\tilde\beta_{S}\|_{2}^{2}\le (2+\varepsilon)\|y-X\beta_{\text{lsr}}\|_{2}^{2}\) 를 확률 0.05 이상에서 달성함을 증명한다. 여기서 핵심은 샘플링된 행들의 외적 합 \(\sum_{i=1}^{c}W_i\) (각 \(W_i = u_i u_i^{\top}\) 로 정의) 의 최소·최대 고유값을 제어하는 Lemma 3이며, 이를 통해 \(SX\) 의 스펙트럼 특성이 충분히 보존됨을 보인다. 또한, 샘플링 후 남은 잔차 성분 \(U_{X}^{\perp}U_{X}^{\perp\top}y\) 를 균등 샘플링된 행에 투영한 결과가 원래 잔차와 거의 동일함을 확률적 경계로 제시한다. 논문은 위 두 정리의 증명을 상세히 전개한다. 레버리지 샘플링 증명에서는 기존 Lemma 1, 2 (Deterministic Error Bound)와 Lemma 2 (Random Matrix Multiplication Bound) 를 재구성하고, 마르코프 부등식과 연합(bound) 기법을 통해 샘플 수 요구조건을 완화한다. 균등 샘플링 증명에서는 Lemma 3 (Matrix Tail Bound) 를 활용해 고유값 집중도를 분석하고, 코히어런스 \(\mu\) 가 작은 경우에 대한 구체적인 샘플 수 식을 도출한다. 두 경우 모두 샘플링 후 얻은 근사해를 여러 번 독립적으로 실행하고 최솟값을 선택하면 성공 확률을 원하는 수준으로 높일 수 있음을 언급한다. 실험적 검증은 논문에 포함되지 않았지만, 저자는 기존 실험 결과와 이론적 복잡도 비교를 통해 제안된 샘플 수가 실제 데이터에서도 충분히 작아 실용적이라고 주장한다. 또한, 레버리지 점수의 근사 계산 방법(예: SRHT, CountSketch 등)과 희소 임베딩 매트릭스 사용을 통해 전체 알고리즘의 시간 복잡도를 \(O(\text{nnz}(X))\) 수준으로 낮출 수 있음을 강조한다. 결론적으로, 본 연구는 대규모 LSR 문제에 대해 레버리지 기반 샘플링과 균등 샘플링 두 가지 접근법을 제공하고, 각각에 대해 기존보다 더 강력한 샘플 복잡도와 오류 보장을 제시한다. 이는 데이터 과학, 머신러닝, 통계학 등에서 고차원 회귀 분석을 수행해야 하는 실무자와 연구자에게 중요한 이론적·실용적 가치를 제공한다.