다중 출력 가우시안 프로세스를 위한 변분 유도 커널과 희소 컨볼루션

본 논문은 다중 출력 가우시안 프로세스(MOGP) 모델을 효율적으로 학습하기 위한 새로운 희소화 기법을 제시한다. 기존 연구에서는 다중 출력 GP를 구성하기 위해 선형 코어그레션 모델(LMC)이나 컨볼루션 프로세스(CP)를 사용했으며, 특히 CP는 물리적 모델(예: 미분 방정식)의 그린 함수와 결합해 복잡한 상관 구조를 표현할 수 있다는 장점이 있다. 그러나 CP 기반 MOGP는 잠재 함수 u₍q₎(x)를 전체 입력 공간에 대해 통합해야 하므로, 정확한 추론의 계산 복잡도가 O(N³D³)으로 급격히 증가한다. Alvarez와 Lawrence(2009)는 이 문제를 해결하기 위해 PITC(FITC와 유사) 방식의 희소 근사를 도입하였다. 핵심 아이디어는 잠재 함수 전체를 관측하는 대신, K개의 inducing point Z에 대한 값 u₍q₎(Z)를 이용해 조건부 독립성을 가정하는 것이다. 이 접근법은 잠재 함수가 부드러운 커널을 가질 때는 충분히 정확했지만, 두 가지 한계가 있었다. 첫째, inducing point를 직접 최적화하면 모델이 과적합되기 쉬우며, 특히 inducing point 수가 많아질수록 최적화가 불안정해진다. 둘째, 잠재 함수가 화이트 노이즈와 같이 비부드러운 경우, u₍q₎(Z)만으로는 전체 함수 정보를 전달하지 못해 근사 정확도가 크게 떨어진다. 이를 극복하기 위해 저자들은 변분 유도 커널(VIK)이라는 개념을 도입한다. VIK는 기존의 u₍q₎(Z) 대신, 잠재 함수를 부드러운 커널 T₍q₎와 컨볼루션한 새로운 변수 λ₍q₎(z)=∫T₍q₎(z−v)u₍q₎(v)dv 를 정의한다. 이 λ₍q₎는 입력 전체에 걸친 정보를 압축적으로 담을 수 있어, 화이트 노이즈와 같은 무한 대역폭 신호도 근사 가능하게 만든다. T₍q₎는 모델 파라미터(예: 가우시안 폭)로 설정되며, 변분 하한을 최대화하는 과정에서 자동으로 학습된다. 변분 프레임워크는 Titsias(2009)의 변분 스파스 GP 아이디어를 다중 출력 상황에 확장한다. 전체 로그 증거의 변분 하한을 다음과 같이 정의한다. L = 𝔼_{q(u,λ)}