저차원 근사로 가속하는 RBF 보간의 Rippa 파라미터 최적화

초록

**
본 논문은 RBF 보간에서 형태 매개변수 ϵ를 선택하기 위한 Rippa의 LOOCV 방식을, Nyström 저차원 근사와 Woodbury 항등식을 결합해 연산 비용을 O(N m²+m³) 로 낮춘다. 격자 탐색과 자동 미분 기반 그래디언트 하강을 비교하고, 1·2·3 차원에서 Inverse Multiquadric RBF를 사용한 실험을 통해 가속 효과와 근사에 따른 민감도 변화를 평가한다.

**

상세 분석

**
RBF 보간에서 형태 매개변수 ϵ는 정확도와 조건수 사이의 트레이드오프를 결정하는 핵심 요소이며, Rippa가 제안한 LOOCV 기반 선택법은 ϵ에 대한 최적값을 찾는 실용적인 방법으로 널리 쓰인다. 그러나 전통적인 LOOCV는 매 ϵ마다 N×N 커널 행렬을 풀어야 하므로 O(N³) 의 비용이 발생한다. 저자들은 이 병목을 해소하기 위해 두 가지 수학적 도구를 도입한다. 첫째, 전체 커널 행렬 A를 Nyström 방법으로 저차원 근사 ˜Aₙᵧₛ = C W⁻¹ Cᵀ 로 표현한다. 여기서 C∈ℝ^{N×m} 은 전체 데이터와 m개의 랜드마크(클러스터 중심) 사이의 커널값, W∈ℝ^{m×m} 은 랜드마크 간 커널값이다. k‑means++ 로 랜드마크를 선택하고, m을 고정하면 행렬 구축 비용은 O(N m) 로 감소한다. 둘째, 정규화된 근사 행렬 ˜A_reg = ˜Aₙᵧₛ + λ_reg I 에 Woodbury 항등식
˜A_reg⁻¹ = λ_reg⁻¹ I – λ_reg⁻¹ C ( W + λ_reg⁻¹ CᵀC )⁻¹ Cᵀ λ_reg⁻¹
을 적용함으로써 N×N 역행렬 연산을 완전히 제거하고, LOOCV 잔차 E_k(ϵ) 를 O(N m²+m³) 안에 계산한다. 이 복합 구조는 N에 선형적으로 확장되면서도 m이 충분히 작을 경우 정확도 손실을 최소화한다는 점에서 실용적이다.

알고리즘적 측면에서는 두 가지 최적화 전략을 비교한다. (1) 전통적인 격자 기반 탐색은 로그 스케일로 30개의 coarse 후보와 50개의 fine 후보를 순차 탐색해 전역 최소값을 찾는다. (2) 그래디언트 하강은 ϵ를 로그 변환 θ=ln ϵ 로 최적화하고, 수치 미분(중심 차분)으로 ∂L/∂ϵ 를 근사한다. 이때 적응형 학습률 η와 백트래킹 라인 서치를 도입해 급격한 조건수 변동이나 NaN/Inf 발생을 방지한다. 초기값은 차원별 경험적 규칙(예: ϵ₀≈0.8 √(N)/D 등)으로 설정하고, 수렴 기준은 ∂L/∂ϵ <10⁻⁸ 혹은 상대 손실 변화 <10⁻¹² 로 정의한다.

실험에서는 1D, 2D, 3D 구간에 균일 샘플링된 데이터(N=5124096)와 Inverse Multiquadric 커널을 사용한다. m=200인 랜드마크를 고정하고, 10번의 k‑means++ 초기화를 통해 Normalized Mutual Information(NMI) 를 측정했을 때 평균 NMI가 0.820.94 로 높은 안정성을 보였다. 정확도 측면에서는 Nyström 가속을 적용한 Rippa와 GD 모두 원본 방법과 거의 동일한 RMS 최소값을 찾았으며, 특히 “GD + Nyström”이 가장 빠른 실행 시간을 기록했다. 다만, m이 작을 경우 근사 오차가 LOOCV 곡선의 급격한 변곡점 근처에서 민감도를 높여 최적 ϵ가 약간 변동하는 현상이 관찰되었다. 이는 저차원 근사의 한계이자, 실제 대규모 데이터에서 근사와 정확도 사이의 트레이드오프를 조절해야 함을 시사한다.

결론적으로, Nyström‑Woodbury 결합은 LOOCV 기반 ϵ 최적화를 대규모 RBF 보간에 실용화시키는 강력한 도구이며, 그래디언트 기반 최적화와 병행할 경우 탐색 범위 지정 없이도 빠르고 안정적인 파라미터 선택이 가능함을 입증한다. 향후 연구에서는 동적 m 선택, 다중 커널 혼합, 그리고 비정형(비균일) 데이터에 대한 확장성을 탐구할 여지가 있다.

**