스케일러블 딥 베이시스 커널 가우시안 프로세스

초록

딥 베이시스 커널(DBK)은 소수의 신경망 기반 베이시스 함수를 이용해 저랭크 구조를 명시적으로 만들고, 이를 통해 샘플 수에 대해 선형 복잡도의 정확한 추론을 가능하게 한다. 기존의 스파스 딥 커널 학습과 Gaussian Bayesian 마지막 층 모델을 하나의 프레임워크로 통합하며, 단순 최대 주변가능도(MML) 학습이 불안정한 불확실성 및 랭크 붕괴를 초래할 수 있음을 지적한다. 이를 해결하기 위해 예측 분포를 직접 최적화하고 정규화를 분리한 미니배치 목표(dPPGP)를 제안한다. 실험 결과, DBK와 dPPGP는 대규모 회귀 벤치마크에서 정확도, 불확실성 정량화, 계산 효율성 모두에서 기존 방법을 능가한다.

상세 분석

본 논문은 가우시안 프로세스(GP)의 핵심 과제인 “표현력 있는 커널 학습 vs. 추론 효율성” 사이의 트레이드오프를 새로운 관점에서 해결한다. 저자들은 커널을 신경망 파라미터화된 베이시스 함수들의 내적 형태로 정의한 딥 베이시스 커널(DBK)을 제안한다. 이때 베이시스 함수의 개수 r은 커널의 랭크를 직접 제어하며, r ≪ n(샘플 수)일 경우 커널 행렬 K = ΦΦᵀ의 저랭크 특성을 이용해 정확한 GP 추론을 O(n r²) 시간·O(n r) 메모리로 축소한다. 이는 전통적인 스파스 GP가 inducing point와 whitening 변환을 통해 얻는 저랭크 구조와 수학적으로 동일하지만, DBK는 인덕팅 포인트 없이도 베이시스 함수를 직접 학습할 수 있어 설계 자유도가 크게 늘어난다.

DBK는 두 단계 아키텍처(백본 NN → 확장 레이어)로 구현된다. 백본은 입력을 h‑차원 잠재 표현으로 변환하고, 확장 레이어는 이를 r‑차원 베이시스 집합으로 매핑한다. 확장 레이어를 선택함에 따라 기존의 스파스 딥 커널 학습(sDKL)과 Gaussian Bayesian 마지막 층(GBLL) 모델을 특수 경우로 포함한다. 예를 들어, 인덕팅 포인트와 베이스 커널을 사용하면 ϕ(x)=K̃_ZZ⁻¹ᐟ² k̃_Z(g(x)) 형태가 되고, 마지막 층에 가우시안 사전과 선형 변환을 두면 ϕ(x)=a(W g(x)+b)와 동일해진다.

핵심 이론적 기여는 두 가지이다. 첫째, Mercer 전개와 보편 근사 정리를 이용해 DBK가 충분히 큰 r과 네트워크 용량을 가질 때 임의의 연속 커널을 근사할 수 있음을 보였다. 둘째, MML 학습이 저랭크 커널에 적용될 경우, 특히 이질적(heteroscedastic) 노이즈 상황에서 랭크‑1 솔루션으로 수축하고 예측 불확실성을 과소평가하는 현상을 정량·정성적으로 분석했다. 이는 기존 SVGP·PPGP가 인덕팅 포인트에 의존해 정규화를 수행하던 방식과 달리, 베이시스 자체가 학습 과정에서 “분산 붕괴”를 일으키기 때문이다.

이를 해결하기 위해 저자들은 dPPGP라는 새로운 목표 함수를 제안한다. dPPGP는 미니배치 내에서 예측 로그우도(μ̂, σ̂²+σ²_ε)를 직접 최적화하고, 별도의 트레이스 정규화 term = λ·tr(Λ_X⁻¹)·r을 추가한다. 이 정규화는 베이시스 가중치 w의 사전 분산을 균등하게 유지하도록 강제해, 랭크 붕괴를 방지하고 전체 사전 분산을 복원한다. 또한, 정규화 강도 λ를 배치 크기와 무관하게 조절할 수 있어 다양한 베이시스 설계에 적용 가능하다.

실험에서는 1‑D 합성 데이터, UCI 회귀, 대규모 이미지 기반 회귀(예: CIFAR‑10 회귀 변형) 등을 사용했다. 결과는 다음과 같다. (1) 정확도 측면에서 DBK+dPPGP가 기존 sDKL·SVGP 대비 평균 3‑5% RMSE 개선을 보였다. (2) 예측 불확실성 캘리브레이션(NLL, PICP)에서 dPPGP는 MML 기반 DBK와 비교해 0.2‑0.4 정도의 NLL 감소와 95% 신뢰구간 커버리지를 목표 수준에 가깝게 맞췄다. (3) 계산 효율성 측면에서 r = 200 정도의 저랭크 설정으로 n = 100k 샘플을 처리할 때, 단일 GPU에서 1‑2초 내에 한 번의 전체 학습 스텝을 수행했으며, 이는 SVGP의 5‑10배 빠른 속도다.

요약하면, DBK는 저랭크 구조와 딥 네트워크의 표현력을 결합해 스케일러블하면서도 유연한 커널을 제공하고, dPPGP는 이러한 커널을 안정적으로 학습시키는 새로운 목표 함수이다. 두 요소는 기존 스파스 GP와 딥 커널 학습의 한계를 넘어, 대규모 복잡 데이터에서 정확한 예측과 신뢰할 수 있는 불확실성 추정 모두를 달성한다.