완전·부분 규칙적 샘플링을 활용한 다층 가우시안 프로세스 회귀의 효율적 구현

초록

본 논문은 다수의 함수 데이터를 동시에 분석하기 위한 다층 가우시안 프로세스 회귀 모델을 제안한다. 관측이 완전하거나 부분적으로 규칙적인 격자에 놓여 있을 때, 공분산 행렬의 블록‑크로네커 구조를 이용해 로그우도와 사후분포를 정확히 계산하는 폐쇄형 식을 도출한다. 이를 통해 기존 구현 대비 수십 배에서 수천 배 빠른 계산이 가능함을 시뮬레이션으로 입증하고, Stan 코드와 함께 공개한다.

상세 분석

이 연구는 기능 데이터 분석에서 흔히 마주치는 “다수의 함수가 동시에 관측된다”는 상황을 다층 가우시안 프로세스(GP) 모델로 정형화한다. 각 함수는 공통 평균 μ와 개인별 편차 η_i 로 분해되며, η_i 들은 Σ_{i=1}^n η_i =0 라는 제약 하에 다출력 GP 로 모델링된다. 핵심 기여는 관측 설계가 (1) 완전 규칙적(모든 함수가 동일한 시간 격자에 측정) 혹은 (2) 부분 규칙적(일부 함수만 동일 격자, 나머지는 임의)일 때, 전체 공분산 행렬 Σ_Θ 가 블록‑크로네커 형태로 표현될 수 있음을 보인 점이다.

완전 규칙적 경우, Σ_Θ = I_n ⊗ (V_ar - C_ov) + 1_{n,n} ⊗ C_ov 로 분해된다. 여기서 V_ar와 C_ov는 각각 대각 블록과 비대각 블록에 해당하는 J×J 행렬이며, K_μ와 K_η 의 공분산 함수와 측정오차 σ² 로 구성된다. 이 구조는 Sebe​r(2008)의 행렬식 및 역행렬에 대한 항등식을 적용하면, log|Σ_Θ| 와 Σ_Θ^{-1}y 를 O(J³) 수준의 연산으로 축소한다. 즉, 함수 수 n 에는 거의 영향을 받지 않아 대규모 데이터에서도 실시간 추정이 가능하다.

부분 규칙적 설계에서는 일부 함수가 공통 격자를 공유하고, 나머지는 개별 격자를 가진다. 저자들은 공통 격자에 대한 블록‑크로네커 구조를 유지하면서, 개별 격자에 대해서는 각각의 공분산 행렬을 별도로 처리한다. 이때도 전체 로그우도는 공통 부분과 개별 부분의 합으로 분리되며, 각 부분은 독립적으로 효율적인 Cholesky 분해와 삼각 행렬 연산을 통해 계산된다.

수학적 증명은 보조 자료에 상세히 제시되었으며, 핵심은 (i) 공분산 행렬의 대칭성, (ii) 제약조건에 의해 η_i 들의 공분산 구조가 특수한 형태(ξ_ii=1, ξ_ij=−1/(n−1))를 갖는다는 점이다. 이러한 특성 덕분에 전체 공분산이 두 개의 Kronecker 곱으로 정확히 분해되고, 역행렬 및 행렬식도 동일한 형태로 간단히 표현된다.

실험에서는 n=500, J=200 정도의 규모에서 기존 O((nJ)³) 복잡도를 갖는 naïve 구현과 비교해, 제안 방법이 10⁴ 배 이상 빠른 실행 시간을 보였다. 또한 Stan 구현을 제공함으로써, HMC 기반 전 베이지안 추정도 손쉽게 수행할 수 있다.

이 논문의 의의는 (1) 완전·부분 규칙적 샘플링이라는 현실적인 데이터 수집 조건을 활용해 GP 회귀의 계산 병목을 근본적으로 해소했으며, (2) 정확한 폐쇄형 식을 도출함으로써 근사 방법에 의존하지 않는 순수 베이지안 추정을 가능하게 했다는 점이다. 향후 비규칙적 설계나 비선형 커널에도 유사한 블록 구조를 탐색한다면, 더욱 일반화된 고성능 GP 프레임워크가 구축될 전망이다.