희소 합성 다중 출력 가우시안 프로세스

초록

본 논문은 다중 출력 가우시안 프로세스(MOGP)를 합성(convolution) 방식으로 모델링하고, 계산·저장 비용을 크게 낮추는 희소 근사법들을 제안한다. 출력 간의 잠재 함수 의존성을 활용해 PITC·FITC와 유사한 구조의 공분산을 도출하고, 이를 기반으로 합성 MOGP에 적용한다. 실험에서는 합성 데이터와 오염 물질 예측, 학교 시험 점수, 유전자 발현 등 다양한 실제 데이터셋에서 제안 방법이 기존 풀 모델보다 높은 정확도와 효율성을 보임을 확인한다.

상세 분석

이 논문은 다중 출력 가우시안 프로세스(MOGP)를 설계할 때 가장 핵심적인 문제인 ‘공분산 함수 설계’를 합성 프로세스(convolution process) 프레임워크를 통해 해결한다. 전통적인 다중 출력 GP는 각 출력이 동일한 커널을 공유하거나, 선형 모델 오브 코어그라피(LMC)와 같이 고정된 선형 결합을 이용해 상관관계를 표현한다. 그러나 이러한 방법은 출력 간 복잡한 비선형 상호작용을 포착하기 어렵고, 특히 출력 수와 데이터 포인트가 늘어날수록 공분산 행렬의 차원이 급격히 증가한다.

합성 접근법은 각 출력 (f_d(x))를 잠재 함수 (u_q(z))와 커널 (G_{d,q}(x-z))의 컨볼루션으로 정의한다:
\