대규모 커널 릿지 회귀를 위한 가속 스케치‑앤‑프로젝션 알고리즘 ASkotch

초록

ASkotch은 스케치‑앤‑프로젝션과 Nyström 근사를 결합한 가속 반복법으로, 전체 커널 매트릭스에 대해 선형 수렴을 보장한다. ridge leverage score와 determinantal point process 이론을 활용해 조건수에 의존하지 않는 수렴 속도를 증명했으며, per‑iteration 비용을 O(n), 메모리 사용을 프리컨디셔너 차원 r에만 의존하도록 설계했다. 23개의 대규모 회귀·분류 벤치마크에서 기존 PCG, EigenPro, Falkon 등을 능가하는 예측 정확도와 실행 시간을 기록했다.

상세 분석

본 논문은 커널 릿지 회귀(KRR)의 전통적인 병목인 n×n 커널 행렬의 직접 해법을 회피하기 위해, 스케치‑앤‑프로젝션(SAP) 프레임워크에 Nyström 근사를 통합한 새로운 반복 알고리즘 ASkotch을 제안한다. 핵심 아이디어는 (1) ARLS(Approximate Ridge Leverage Score) 샘플링을 통해 중요한 열(또는 행)을 선택하고, (2) 선택된 열들로 구성된 저차원 서브스페이스에 대해 정확한 프로젝션 대신 Nyström 기반 근사 해를 구함으로써, 기대 프로젝터가 실제 프로젝터와 거의 동일한 스펙트럴 특성을 갖도록 보장한다는 점이다.

이론적 기여는 두 단계로 나뉜다. 첫 번째는 기존 SAP 이론이 요구하는 DPP 기반 샘플링을 ARLS 샘플링으로 대체하면서도, 기대 SAP 프로젝터의 최소 고유값에 대한 비하한을 확보하는 ‘ARLS→DPP 변환(Lemma 12)’을 제시한 것이다. 이를 통해 샘플링 비용을 O(n r) 수준으로 낮추면서도, 프로젝터의 스펙트럼이 충분히 양호함을 증명한다. 두 번째는 Nyström 근사가 도입된 후에도 기대 Nyström 프로젝터가 기대 SAP 프로젝터보다 일정 상수만큼 감소된 하한을 갖는다는 ‘Nyström 프로젝터 분석(Theorem 13)’을 제공한다. 이 결과는 전체 알고리즘의 수렴률을 고유값 하한에 의존하는 선형 수렴 형태로 전환시킨다.

특히, 커널 행렬의 λ‑effective dimension d_λ(K)가 적당히 작을 경우(즉, 고유값이 빠르게 감소하는 경우) 조건수에 독립적인 선형 수렴을 보이며, 전체 복잡도는 ˜O(n² log 1/ε)으로 기존 PCG와 동등하거나 더 나은 수준이다. 메모리 측면에서는 프리컨디셔너 차원 r에 비례하는 O(r²)만을 요구해, n이 10⁶~10⁸ 수준인 실험에서도 GPU 메모리 한계 내에서 실행 가능하다.

실험에서는 23개의 다양한 도메인(화학, 의료, 이미지 등) 데이터셋에 대해, 기본 하이퍼파라미터 설정만으로도 ASkotch이 PCG, EigenPro 2.0/3.0, Falkon 등을 능가하는 RMSE 및 정확도를 달성했다. 특히 n=10⁸ 규모의 택시 데이터셋에서는 PCG가 24시간 제한 내에 한 번도 반복을 수행하지 못했으나, ASkotch은 300초 내에 수렴해 기존 인듀싱 포인트 기반 방법보다 두 차수(10¹⁶ vs 10¹⁴)의 문제 규모를 해결했다.

요약하면, ASkotch은 (i) 선형 시간·메모리 복잡도, (ii) 조건수‑프리 수렴 보장, (iii) 실용적인 하이퍼파라미터 기본값 제공이라는 세 축을 동시에 만족시키며, 대규모 KRR 문제에 대한 새로운 표준이 될 잠재력을 가진다.