파생 관측을 활용한 대규모 가우시안 프로세스 회귀

초록

본 논문은 전체 파생(gradient) 관측을 효율적으로 다룰 수 있는 새로운 스케일러블 가우시안 프로세스(GP) 방법인 DSoftKI를 제안한다. 기존 SoftKI의 전역 온도 벡터를 각 보간점마다 별도의 로컬 온도 벡터로 교체함으로써 지역적 방향 민감성을 인코딩하고, 커널 및 1·2차 파생을 직접 계산하지 않아도 되는 근사 커널을 구축한다. 실험 결과, DSoftKI는 합성 베치마크, n‑body 물리 시뮬레이션, 고차원 분자 힘장 예측 등에서 정확도와 확장성을 동시에 달성한다.

상세 분석

DSoftKI는 SoftKI가 제시한 “softmax interpolation” 방식을 파생 관측까지 확장한 점이 가장 큰 혁신이다. SoftKI에서는 m ≪ n개의 보간점 z와 전역 온도 벡터 T를 이용해 Σₓz를 정의하고, Kₓₓ≈Σₓz K_zz Σ_zx 형태의 근사 커널을 만든다. 그러나 파생 정보를 포함하려면 커널의 미분이 필요해 계산 복잡도가 급증한다. DSoftKI는 전역 온도 T를 각 보간점 z_j마다 별도의 로컬 온도 t_j로 대체한다. 이 로컬 온도는 입력 x와 보간점 z_j 사이의 거리 스케일을 개별적으로 조정해 주어, ∇σ_jz(x)와 같은 파생 항을 직접 계산하지 않고도 ∇K를 근사할 수 있게 한다. 수식 (18)에서 보듯, Σₓz는 값 σ_jz와 그 파생 ∇σ_jz를 한 행렬에 결합한 형태이며, 이는 I·∇ₓi σ_jz(x_i) 로 표현된다. 결과적으로 전체 커널과 그 1·2차 파생을 모두 Σₓz K_zz Σ_zx 형태로 근사함으로써, 기존 DSVGP·DDSVGP가 요구하던 d‑차원(또는 p‑차원) 인덱스 연산을 피하고 O(m² n d) 복잡도로 posterior inference를 수행한다.

이 설계는 두 가지 중요한 장점을 제공한다. 첫째, 파생 관측을 포함한 GP의 핵심 장점인 “함수와 그 기울기 모두를 공동 모델링”을 유지하면서도, 커널 자체의 미분을 전혀 필요로 하지 않는다. 따라서 복잡한 커스텀 커널(예: 딥 커널 학습)에도 바로 적용 가능하다. 둘째, 로컬 온도 벡터는 각 보간점 주변의 데이터 구조를 반영하므로, 고차원(100 ~ 1000) 공간에서도 보간점이 효율적으로 배치된다. 이는 기존 SKI·DSKI가 고차원에서 겪는 “차원 저주”를 완화한다는 의미다.

알고리즘적 측면에서 DSoftKI는 변분 ELBO 대신 Hutchinson’s pseudoloss를 사용해 안정적인 미니배치 학습을 수행한다. 이 손실은 D = K_SoftKI + Λ 형태의 행렬에 대한 stochastic trace estimator를 이용해 O(b² + m³) 비용으로 근사한다. 또한 posterior 예측은 SGPR과 동일한 구조를 갖지만, Kₓz와 K_zx가 보간된 형태이므로 O(m² n) 연산만으로 가능하다. 실험에서는 m=500, p=2 정도의 설정에서도 d≈2000인 경우에도 정확도가 크게 떨어지지 않으며, 기존 DSVGP·DDSVGP가 요구하는 m³ p³ 연산보다 훨씬 효율적임을 확인한다.

전체적으로 DSoftKI는 (1) 파생 관측을 완전하게 지원, (2) 커널 미분을 회피, (3) 로컬 온도 기반의 방향 민감성 인코딩, (4) O(m² n d) 복잡도로 확장 가능하다는 네 가지 핵심 기여를 통해 고차원·대규모 데이터에 대한 GP 회귀의 실용성을 크게 높였다.