시간 적응형 함수형 가우시안 프로세스 회귀

초록

본 논문은 컴팩트 리만 다양체 위에서 시간에 따라 변하는 공분산 스펙트럼을 이용해 함수형 가우시안 프로세스(FGP)를 회귀하는 새로운 프레임워크를 제시한다. Empirical Bayes 방식을 채택해 무한 차원 힐베르트 공간에서의 가우시안 측정을 무한 곱 측정으로 동등시하고, 라플라스‑벨트라미 연산자의 고유함수를 통해 커널을 대각화한다. 시간별 스펙트럼 차원을 로그 혹은 거듭제곱 법칙에 따라 절단함으로써 계산 복잡도를 제어하고, 시뮬레이션 및 합성 데이터 실험을 통해 유한 표본과 점근적 성질을 검증한다.

상세 분석

이 연구는 함수형 가우시안 프로세스(FGP)를 다루는 기존 방법이 고차원 공분산 행렬의 역연산에 의존해 계산 비용이 급증한다는 한계를 극복하고자 한다. 핵심 아이디어는 두 가지 수학적 도구를 결합하는 데 있다. 첫째, 무한 차원의 힐베르트 공간 H=L²(Mᵈ, dν) 위에 정의된 중심이 0인 비퇴화 가우시안 측정 μ_R을 무한 곱 측정 ∏ₖ μ_k와 동등시하는 정리(Theorem 1)를 활용한다. 여기서 μ_k는 라플라스‑벨트라미 연산자 Δᵈ의 고유값 λ_k와 고유함수 e_k에 의해 정의된 1차원 정규분포이며, λ_k는 시간에 따라 변하는 스펙트럼 B_k(t)와 직접 연결된다. 둘째, 공분산 커널 C_Mᵈ(x,y,τ) 가 다양체의 등거리군(isometry group) 아래 불변임을 가정함으로써, 커널을 고유함수 전개식 C_Mᵈ(x,y,τ)=∑ₙ B_n(τ)∑{j=1}^{Γ(n,d)} S{n,j}(x)S_{n,j}(y) 로 표현한다. 이 전개는 시간마다 독립적인 스칼라 가우시안 프로세스 Z_{n,j}(t) 로 분해되며, 각 Z_{n,j}(t)는 평균 0, 분산 B_n(t)인 정규 과정이다.

시간 적응형 차원 축소는 이러한 스펙트럼 전개에서 절단 파라미터 N_T를 선택하는 과정이다. 저자는 로그 절단(N_T≈log T)과 거듭제곱 절단(N_T≈T^α, 0<α<1) 두 가지 스킴을 제안하고, 절단 수준이 표본 크기 T와 어떻게 균형을 이루는지를 이론적으로 분석한다. 로그 절단은 큰 표본에서 계산 효율성을 극대화하지만, 작은 표본에서는 고주파 성분 손실로 인해 예측 편향이 증가한다. 반면 거듭제곱 절단은 작은 표본에서도 충분한 고주파 정보를 보존해 정확도를 유지하지만, 계산 비용이 다소 늘어나는 트레이드오프가 있다.

Empirical Bayes 추정은 매 시점 t마다 관측 데이터 Y_t(x)와 잡음 분산 σ²(t)를 이용해 조건부 우도 p(Y_t|θ(t),σ(t))를 최대화함으로써 하이퍼파라미터 θ(t)와 σ(t)를 순차적으로 추정한다. 여기서 θ(t)는 시간에 따라 변하는 스펙트럼 B_n(t)와 연관된 파라미터 집합이며, 추정 과정은 Fredholm 행렬식 det(I−ωR_t) 의 로그를 포함한 복합 로그우도를 최적화하는 형태로 전개된다. 추정된 하이퍼파라미터를 기반으로 사후 분포 μ_{R_t|Y_t}는 무한 차원 가우시안 측정의 l² 동형성을 이용해 각 스펙트럼 모드별 1차원 정규분포의 곱으로 다시 표현된다. 따라서 사후 평균은 각 모드별 베이즈 추정값의 선형 결합으로 계산 가능하며, 이는 실제 구현에서 고차원 연산을 완전히 회피한다.

시뮬레이션에서는 구면(S²) 위의 Gneiting 클래스 공분산 함수를 두 가지 서브패밀리(시간에 대한 Cauchy형과 Matérn형)로 나누어 실험하였다. Cauchy 서브패밀리는 장기 의존성(LRD)을 나타내어 고주파 스펙트럼이 느리게 감소하고, Matérn 서브패밀리는 보다 빠른 스펙트럼 감소를 보인다. 결과는 로그 절단이 대규모 표본(T≥500)에서 평균 제곱 오차(MSE)를 최소화하는 반면, 소규모 표본(T≤50)에서는 거듭제곱 절단이 더 낮은 편향과 분산을 제공함을 확인한다.

마지막으로 실제 기후 데이터(태양 복사 플럭스와 고도 구름 하부 압력)를 이용해 5‑fold 교차 검증을 수행하였다. 시간 적응형 EB‑FGP 모델은 기존 정적 GP 및 스파스 GP 대비 예측 정확도가 8~12% 향상되었으며, 특히 시간에 따른 스펙트럼 변동을 반영한 적응형 절단이 계절적 변동을 효과적으로 포착함을 보여준다.

전반적으로 이 논문은 무한 차원 확률 과정 이론, 라플라스‑벨트라미 스펙트럼 분석, 그리고 Empirical Bayes 최적화를 결합해, 복잡한 시공간 데이터에 대한 효율적이고 이론적으로 견고한 함수형 회귀 프레임워크를 제시한다.