무작위 스케치를 활용한 커널 리지 회귀의 빠르고 최적화된 비모수 추정

1. **문제 배경 및 동기** 비모수 회귀에서 재생 커널 힐베르트 공간(RKHS)을 가정하고, 최소 제곱 오차와 힐베르트 노름의 정규화 항을 결합한 커널 리지 회귀(KRR)가 널리 사용된다. 그러나 KRR는 n개의 샘플에 대해 커널 행렬 K∈ℝⁿˣⁿ을 직접 다루어야 하므로, 시간 복잡도가 O(n³), 메모리 복잡도가 O(n²)로 급증한다. 이는 대규모 데이터셋에 적용하기 어렵게 만든다. 기존 해결책으로는 데이터 분할·분산 처리, Nyström 방식에 의한 저랭크 근사 등이 있으나, 각각 정확도와 복잡도 사이에 명확한 이론적 트레이드오프가 부족했다. 2. **스케치 기반 근사 설계** 저자들은 K를 무작위 스케치 행렬 S∈ℝᵐˣⁿ( m≪n )으로 좌·우 양쪽에 투사하여 SKSᵀ 형태의 m차원 행렬을 만든다. 이 스케치 행렬은 행마다 평균 0, 공분산 I/√m을 갖는 서브가우시안 또는 ROS(무작위 직교 시스템) 형태가 가능하다. 스케치된 KRR은 다음 두 단계로 수행된다: (i) m차원 이차계획문(5a)을 풀어 α̂를 얻고, (ii) α̂를 원래 변수 ω̂ = Sᵀα̂ 로 변환해 최종 예측 함수를 구성한다. 이 과정은 O(m³) 시간·O(m²) 메모리만 필요하며, SKSᵀ와 SKy를 사전에 계산하는 비용은 O(n²·log m) (ROS 경우 O(n log m)) 로 크게 감소한다. 3. **통계적 차원과 임계 반경** 핵심 이론적 도구는 통계적 차원 dₙ = tr(K(K+λI)⁻¹)와 임계 반경 δₙ이다. dₙ은 커널 스펙트럼이 λ에 비해 얼마나 크게 남아 있는지를 나타내며, 실제 자유도와 유사한 역할을 한다. δₙ는 복소수 함수 R(δ)= (1/n)∑_{j=1}^n min{δ², μ_j} 와 σ·δ 관계식 R(δ) ≤ σ·δ 로 정의된 최소 양해이다. 기존 KRR 이론에 따르면 λ≥2δₙ²이면 원 KRR의 위험 상한이 O(λ+δₙ²) 로 제어된다. 4. **주요 정리와 증명 개요** Theorem 2는 “(ε,δ)-근사 스펙트럼 보존” 조건을 만족하는 스케치 S에 대해, λ≥2δₙ²이면 스케치 KRR이 동일한 위험 상한을 만족한다는 것을 보인다. 구체적으로, 스케치 행렬이 다음을 만족하면 된다: (i) ‖S K Sᵀ – K‖₂ ≤ ε·λ, (ii) ‖S K y – K y‖₂ ≤ δ·√n·σ. 이 조건은 서브가우시안 및 ROS 스케치가 m = Ω̃(dₙ)이면 확률적으로 만족한다는 것이 Corollary 1에서 증명된다. 즉, 스케치 차원을 통계적 차원 정도로만 잡아도 최소 위험 최적성을 잃지 않는다. 5. **스케치 클래스별 분석** - **서브가우시안 스케치**: 행이 i.i.d. 1‑sub‑Gaussian이며, 스케치 차원 m≥c·dₙ·log dₙ이면 위 조건을 만족한다. - **ROS 스케치**: Hadamard 혹은 DFT 행렬에 랜덤 부호와 서브샘플링을 적용한다. 행·열 곱셈이 O(n log m)으로 가능해 실제 구현에 유리하다. 동일한 차원 요구조건이 적용된다. - **서브샘플링 스케치**: 단순히 아이덴티티 행을 무작위 선택한다. 이는 Nyström 방법과 동등함을 보이며, 동일한 위험 보장을 얻는다. 6. **실험 결과** 다양한 커널(다항식, 가우시안, Sobolev)과 데이터셋에 대해 m을 dₙ 수준(또는 약간 큰 수준)으로 설정했을 때, 원 KRR와 비교해 예측 오차 차이가 거의 없으며, 계산 시간과 메모리 사용량이 크게 감소함을 확인했다. 특히 ROS 스케치는 구현이 간단하면서도 높은 정확도를 유지했다. 7. **Nyström 방법과의 비교** Nyström은 커널 행렬을 저랭크 근사하지만, 스케치 차원 선택이 통계적 차원에 기반하지 않아 보수적인 차원 선택이 필요하고, 확률적 보장이 약하다. 반면, 본 논문의 스케치 기반 방법은 통계적 차원에 직접 연결된 이론적 근거를 제공하며, 동일 차원에서도 더 강력한 위험 상한을 보장한다. 8. **결론 및 향후 연구** 무작위 스케치를 이용한 KRR 근사는 통계적 차원 수준으로 차원을 축소하면서도 최소 위험 최적성을 유지한다는 강력한 이론적·실험적 증거를 제공한다. 이는 대규모 비모수 회귀, 온라인 학습, 분산 환경 등에 바로 적용 가능하다. 향후 연구에서는 비정형 데이터에 대한 커널 설계, 스케치 행렬의 적응적 선택, 그리고 다른 정규화 형태(예: Lasso)와의 결합을 탐색할 수 있다.