가우시안 프로세스 회귀를 위한 효율적인 주변가능도 계산 방법

초록

본 논문은 가우시안 프로세스 회귀 모델의 하이퍼파라미터를 경험적 베이즈 방식으로 최적화할 때 발생하는 O(N³) 계산 부담을, 커널 행렬의 고유분해를 이용해 초기 O(N³) 비용 이후 각 반복마다 O(N) 비용으로 점수 함수, Jacobian, Hessian을 계산하도록 변환하는 새로운 수식 집합을 제시한다. 이를 통해 전통적인 희소 커널 근사법보다도 빠른 정확한 최적화를 가능하게 한다.

상세 분석

이 논문은 베이즈 학습 프레임워크에서 모델의 사전분포와 데이터에 대한 조건부 가능도 사이의 트레이드오프를 통해 사후분포를 정의하고, 이 사후분포에 포함된 하이퍼파라미터(σ², λ²)를 경험적 베이즈(Empirical Bayes) 방식으로 최대 주변가능도(maximum marginal likelihood, MML)를 구해 추정한다는 전형적인 접근법을 채택한다. 기존 방법에서는 Σ_y = σ²K(K+σ²λ²I)^{-1}+I 와 같은 N×N 행렬의 역을 매 반복마다 계산해야 하므로 O(N³)의 시간복잡도가 발생한다. 이는 전역 최적화 단계에서 수백 번, 지역 최적화 단계에서 수십 번의 함수·도함수 평가가 필요하므로 실용적인 데이터 규모를 크게 제한한다.

핵심 기여는 커널 행렬 K에 대한 고유분해 K = USUᵀ (U: 정규 직교 고유벡터, S: 대각 고유값) 를 수행한 뒤, Σ_y와 그 역, 로그 행렬식, 그리고 (μ_y - y)ᵀ Σ_y^{-1} (μ_y - y) 와 같은 스칼라 양을 모두 고유값 s_i와 변환된 데이터 ỹ_i = Uᵀ y 로 표현한다는 점이다. 구체적으로, Σ_y의 고유값 d_i = s_i/(s_i+σ²λ²) + 1 로 나타내어 로그 행렬식은 Σ_i log d_i 로 간단히 계산된다. 또한, (μ_y - y)ᵀ Σ_y^{-1} (μ_y - y) 항은 ỹ_i²와 d_i, σ², λ²의 조합인 g_i 로 변환되어 O(N) 연산만으로 구할 수 있다.

이러한 변환을 통해 점수 함수 L_y, 그에 대한 1차 도함수 ∂L_y/∂σ², ∂L_y/∂λ², 그리고 2차 도함수(히essian)까지 모두 고유값 기반의 합 형태로 재작성한다. 각 항은 단순한 대수식(분수와 로그)으로 표현되며, 고유값과 ỹ_i만을 이용해 O(N) 시간에 계산된다. 논문은 이를 Proposition 2.1~2.4 로 정리하고, 증명은 부록에 제시한다.

또한, 불완전한(랭크가 낮은) 커널에 대해서도 동일한 접근법이 적용 가능함을 언급한다. Σ_c (사후 공분산)의 경우에도 고유분해를 이용해 대각 행렬 Q 로 표현하고, Strassen 알고리즘을 활용해 O(N²·log⁡7) 정도의 복잡도로 전체 행렬을 구성하거나, 필요한 대각 원소만 O(N) 에 추출할 수 있음을 제시한다.

실험 부분에서는 시뮬레이션을 통해 기존 O(N³) 직접 계산, 희소 근사법, 그리고 제안된 O(N) 방법의 실행 시간을 비교한다. 결과는 N이 200~500 정도일 때도 제안 방법이 수십 배에서 수백 배의 속도 향상을 보이며, 최적화 결과(하이퍼파라미터 값 및 예측 정확도)는 기존 정확한 방법과 동일함을 확인한다.

전반적으로 이 논문은 가우시안 프로세스 회귀와 커널 리지 회귀의 하이퍼파라미터 최적화 문제를, 행렬 대수의 고유분해 특성을 이용해 “전역 최적화 단계에서 수백 번, 지역 최적화 단계에서 수십 번” 반복되는 비용이 큰 함수·도함수 평가를 O(N)으로 축소함으로써 실용적인 규모의 데이터에도 정확한 베이즈 최적화를 적용할 수 있게 만든다. 이는 기존 희소 커널 근사법이 근사 오차를 도입하는 반면, 제안 방법은 근본적인 수식 변환을 통해 정확성을 유지하면서도 계산 효율성을 크게 개선한다는 점에서 학술적·실무적 의의가 크다.