Lanczos 근사법을 이용한 커널 부분 최소제곱 회귀 가속화

초록

본 논문은 커널 부분 최소제곱(KPLS) 회귀에서 모델 적합과 자유도, 오차 추정까지를 기존의 O(N³) 복잡도에서 O(N²)로 감소시키는 새로운 알고리즘을 제안한다. 핵심 아이디어는 KPLS와 Lanczos 삼중 대각화 과정 사이의 수학적 연관성을 이용해 커널 행렬의 고유값 근사와 트레이스 연산을 효율적으로 수행하는 것이다. 실험 결과, 제안 방법이 정확도 손실 없이 계산 시간을 크게 단축함을 확인하였다.

상세 분석

본 연구는 커널 부분 최소제곱(KPLS) 회귀의 계산 복잡도를 근본적으로 개선하고자 한다. 기존 KPLS는 모델 파라미터 추정 자체는 O(N²) 시간에 가능하지만, 모델 선택을 위한 자유도(DoF) 계산이나 신뢰구간을 위한 잔차 분산 추정 등 고차원 통계량을 얻기 위해서는 커널 행렬 K의 고유값 전체를 필요로 하며, 이는 일반적인 행렬 함수의 트레이스 연산을 통해 O(N³) 비용이 발생한다. 논문은 이러한 병목을 Lanczos 알고리즘과의 연계를 통해 해소한다.

Lanczos 과정은 대칭 행렬 K에 대해 Krylov 서브스페이스를 구축하면서 삼중 대각 행렬 T_m을 생성한다. T_m은 K의 주요 고유값을 매우 정확하게 근사하며, 그 차원 m은 보통 전체 차원 N보다 훨씬 작다. 저자들은 KPLS의 반복 구조가 바로 이러한 Krylov 서브스페이스 생성과 동일함을 증명하고, 따라서 KPLS 과정 자체가 Lanczos 삼중 대각화의 한 형태임을 밝힌다.

이 연관성을 이용해 저자는 두 가지 핵심 연산을 제시한다. 첫째, K의 고유값을 직접 계산하지 않고 T_m의 고유값을 통해 K의 고차원 트레이스(예: tr(K^k))를 근사한다. 삼중 대각 행렬의 고유값은 O(m³) 비용으로 구할 수 있으며, m≪N이므로 전체 복잡도는 O(N²) 수준에 머문다. 둘째, 이러한 트레이스 근사를 자유도와 잔차 분산 공식에 삽입함으로써, 기존에 O(N³)에 요구되던 통계량을 동일한 O(N²) 시간 안에 얻을 수 있다.

알고리즘 흐름은 다음과 같다. (1) 표준 KPLS와 동일하게 N개의 훈련 샘플에 대해 K와 y를 이용해 첫 번째 컴포넌트를 추출한다. (2) 각 반복 단계에서 Lanczos 벡터와 삼중 대각 원소(α_i, β_i)를 저장한다. (3) 전체 m 단계가 완료되면 T_m을 구성하고 고유값 λ̂_j를 계산한다. (4) λ̂_j를 이용해 tr(K^k)≈∑_j λ̂_j^k 를 구하고, 이를 자유도 공식 DoF = m – tr(S) 등에서 사용한다. (5) 최종 모델 파라미터와 함께 오차 바를 제공한다.

수치 실험에서는 합성 데이터와 실제 유전형 데이터셋을 대상으로 기존 KPLS와 비교하였다. 자유도와 오차 바 추정 정확도는 평균 절대 오차가 1% 이하로 유지되었으며, 전체 실행 시간은 N=10,000 규모에서 약 8배 가량 감소하였다. 또한, m을 적절히 선택하면 메모리 사용량도 O(N) 수준으로 제한 가능함을 보여준다.

이 논문은 KPLS와 Lanczos 사이의 깊은 수학적 연결을 활용함으로써, 고차원 커널 방법에서 흔히 발생하는 “정확도 vs. 계산량” 딜레마를 효과적으로 해결한다는 점에서 의미가 크다. 특히, 모델 선택 단계에서 자유도와 신뢰구간을 빠르게 얻을 수 있게 함으로써, 실시간 혹은 대규모 데이터 분석 파이프라인에 직접 적용 가능하도록 만든다. 향후 연구에서는 비선형 커널 외에도 다중 응답, 온라인 업데이트 상황에 대한 확장 가능성을 탐색할 여지가 있다.