가변 시그마 가우시안 프로세스 기대 전파 관점에서의 확장

초록

본 논문은 기존 회귀 전용으로 제안된 가변 시그마 가우시안 프로세스(VSGP)를 기대 전파(EP) 프레임워크를 통해 분류 및 기타 비선형 문제에 일반화한다. 희소 GP 근사화를 KL‑투영의 관점에서 설명하고, 각 기반점에 개별 길이 스케일뿐 아니라 완전 공분산 행렬을 부여함으로써 근사 정확도를 크게 향상시킨다. 실험 결과는 제안 방법이 기존 VSGP와 다른 최신 희소 GP 방법보다 우수함을 보여준다.

상세 분석

이 논문은 가우시안 프로세스(GP)의 희소 근사화 문제를 기대 전파(Expectation Propagation, EP)라는 확률적 추론 기법과 연결시켜 새로운 이론적 통찰을 제공한다. 기존 VSGP는 각 기반점마다 고유의 길이 스케일(σ)을 부여함으로써 입력 공간의 비등방성(local anisotropy)을 모델링했지만, 그 적용 범위가 회귀에 한정돼 있었다. 저자들은 VSGP를 “진짜 사후분포를 제한된 지수족(exponential family)으로 KL‑투영하는 과정”이라고 재해석하고, EP의 메시지 업데이트 규칙을 이용해 분류와 같은 비가우시안 관측 모델에도 자연스럽게 확장한다. 핵심 아이디어는 사후분포를 “가우시안 형태의 근사분포”로 제한하고, 각 기반점마다 독립적인 파라미터(평균, 공분산, 스케일)를 최적화하는 것이다. 특히, 기존 VSGP가 스칼라 σ만을 사용했던 것을 넘어, 각 기반점에 전치공분산 행렬 Σᵢ를 부여함으로써 입력 차원 전체에 대한 방향성 정보를 포착한다. 이는 고차원 데이터에서 비등방성 구조를 더 정밀하게 표현할 수 있게 하며, 근사 오차를 실질적으로 감소시킨다. EP 프레임워크 내에서 이러한 파라미터는 “site parameters”로서 반복적으로 업데이트되며, 전체 알고리즘은 O(M³) 복잡도(여기서 M은 기반점 수)를 유지한다. 저자들은 또한 기존 희소 GP 방법(예: FITC, PITC)과 비교해 KL‑투영 관점이 왜 더 일반적이고 유연한지를 수학적으로 증명한다. 실험에서는 합성 데이터와 실제 분류 데이터셋에 대해 스칼라 σ 기반 VSGP, 전치공분산 기반 VSGP, 그리고 최신 변분 희소 GP를 비교했으며, 전치공분산을 도입한 VSGP가 예측 정확도와 로그가능도 모두에서 현저히 우수함을 확인했다. 이 결과는 EP 기반 희소 GP가 비가우시안 관측 모델에서도 강력한 근사 도구가 될 수 있음을 시사한다.