깊은 가우시안 프로세스와 그래디언트 통합

초록

본 논문은 비정상적인 컴퓨터 시뮬레이션을 위한 대리모델로서, 다층 가우시안 프로세스(DGP)에 입력·출력 그래디언트 정보를 결합하는 베이지안 프레임워크를 제안한다. MCMC 기반 전체 사후 추정과 Vecchia 근사를 활용해 계산 비용을 완화하고, gradient‑enhanced DGP(geDGP)와 그래디언트 사후 예측을 동시에 제공한다. 다양한 비정상 시뮬레이션 실험에서 기존 GP·DGP 대비 예측 정확도와 불확실성 정량화가 크게 향상됨을 보이며, CRAN 패키지 “deepgp”를 통해 구현을 공개한다.

상세 분석

이 논문은 기존 가우시안 프로세스(GP)가 갖는 정적 커널의 한계를 극복하기 위해, 입력 공간을 비선형으로 변환하는 내부 GP와 변환된 공간에서 회귀를 수행하는 외부 GP로 구성된 두 층 DGP 구조를 채택한다. 핵심 기여는 이러한 DGP에 대해 그래디언트 정보를 동시에 활용하는 방법을 제시한 점이다. 먼저, 전통적인 GP에서 그래디언트를 포함하면 관측 벡터와 그 파셜 도함수들을 하나의 스택된 다변량 정규분포로 모델링할 수 있음을 정리하고, 커널을 두 번 미분한 K_dd, K_df 등 파생 커널 행렬을 명시한다. 이때, 스무스한 커널(예: 가우시안 또는 Matern‑5/2)만이 필요 조건이며, 이를 통해 gradient‑enhanced GP(geGP) 와 gradient‑enhanced DGP(geDGP) 의 사전분포를 수식적으로 정의한다.

베이지안 추정은 MCMC를 이용해 전체 사후를 샘플링한다. 특히, 내부 GP가 정의하는 변환 W는 잠재 변수로서 사전 N(0, K₀₀(X)+εI) 를 갖고, 외부 GP는 변환된 입력 W에 대한 관측 y와 그 그래디언트를 조건부로 결합한다. 다변량 체인 룰(chain rule)을 적용해 내부 GP의 파라미터에 대한 미분값을 전파함으로써, 두 층 모두에서 그래디언트 사후 예측이 가능하도록 설계하였다. 이는 기존 연구(Yang et al., 2025)에서 순간(moment) 근사만 사용한 접근과 달리, 완전한 베이지안 사후를 유지한다는 점에서 차별화된다.

계산 복잡도는 DGP와 그래디언트 결합으로 인해 O(n³) 수준의 행렬 연산이 급증한다. 이를 해결하기 위해 Vecchia 근사를 도입, 입력을 순차적 조건부 독립 구조로 분할해 대규모 데이터에서도 O(n·m²) (m은 이웃 수) 수준으로 축소한다. Vecchia는 특히 그래디언트가 포함된 확장된 공분산 행렬에서도 수치적 안정성을 제공하며, 저자들은 이를 내부·외부 GP 모두에 일관되게 적용하였다.

실험에서는 1‑D 스텝 함수, 2‑D 비정상 함수, 그리고 실제 공기역학 시뮬레이션 등 네 가지 베치마크를 사용했다. 각 실험에서 (i) 일반 GP, (ii) gradient‑enhanced GP, (iii) 일반 DGP, (iv) gradient‑enhanced DGP를 비교했으며, 지표는 RMSE, NLPD, 그리고 그래디언트 예측 정확도였다. 결과는 geDGP가 특히 급격한 변곡점이나 비선형 변환이 강한 경우에 기존 모델 대비 20‑30% 이상의 오차 감소와 더 신뢰성 있는 불확실성 추정을 보여준다. 또한, Vecchia 근사를 적용한 경우 5000개 샘플에 대해 10배 이상 빠른 실행 시간을 기록하였다.

마지막으로, 저자들은 CRAN “deepgp” 패키지와 GitHub 리포지터리를 공개해 재현성을 보장한다. 패키지는 사용자 친화적인 인터페이스와 옵션으로 (a) 전통적 변분 추정, (b) MCMC 기반 전체 사후, (c) Vecchia 근사 선택을 제공한다. 이는 베이지안 서베이 분야에서 그래디언트 활용을 손쉽게 적용할 수 있는 실용적인 도구가 된다.

요약하면, 이 논문은 (1) DGP에 그래디언트를 자연스럽게 통합하는 베이지안 모델링 체계, (2) 전체 사후 샘플링과 정확한 그래디언트 예측을 가능하게 하는 MCMC‑chain‑rule 설계, (3) Vecchia 근사를 통한 대규모 계산 효율화, (4) 광범위한 실험을 통한 성능 검증, (5) 오픈소스 구현이라는 다섯 축을 통해 기존 GP·DGP 한계를 크게 확장한다는 점에서 학술적·실용적 의의가 크다.