빠른 변분 유도 입력 가우시안 프로세스 분류

본 논문은 Gaussian Process(GP)를 이용한 이진 분류 문제에서, 기존 변분 증거 하한(ELBO) 기반 학습 방법이 갖는 계산 복잡도와 최적화 어려움을 해결하고자 새로운 근사 기법을 제시한다. 1. **배경 및 문제점** - GP는 커널 기반 비선형 모델링에 강력한 베이지안 프레임워크를 제공하지만, 전체 데이터에 대한 커널 행렬 K_nn을 직접 다루어야 하므로 O(n³) 복잡도가 발생한다. - 이를 완화하기 위해 유도 입력(inducing inputs) 기법이 도입되어, 데이터 포인트 n과 유도 입력 수 m 사이의 복잡도 O(n m²)로 감소한다. - 최근 SVI(Stochastic Variational Inference) 기반 방법은 ELBO를 스토캐스틱 최적화로 풀어 대규모 데이터에 적용 가능하게 했지만, ELBO에 O(m²)개의 변분 파라미터(특히 공분산 Σ)가 포함돼 m이 커질수록 메모리와 연산 부담이 급증한다. 또한 로지스틱 likelihood에 대한 기대값을 계산하기 위해 Gauss‑Hermite 적분 등 수치적 근사가 필요해 구현 복잡도가 높다. 2. **핵심 아이디어** - 저자들은 ELBO에 등장하는 로지스틱 함수 σ(z)=1/(1+e^{-z})를 2차 다항식으로 근사함으로써, 기대값 E_q