가우시안 프로세스 동적 시스템의 기대 전파 기반 메시지 전달

초록

본 논문은 가우시안 프로세스 동적 시스템(GPDS)에서 기대 전파(Expectation Propagation, EP)를 이용한 새로운 메시지 전달 알고리즘을 제안한다. EP를 일반적인 메시지 전달 문제로 재구성함으로써 전방‑후방 스무딩을 반복 수행하고, 기존 GPDS 스무더보다 더 정확한 잠재 상태 사후분포를 얻는다. 실험 결과, 제안 방법이 예측 정확도와 불확실성 추정 측면에서 최신 방법들을 능가함을 보인다.

상세 분석

본 연구는 GPDS라는 비선형 시계열 모델에 대한 근사 추론 문제를 기대 전파(EP)라는 베이지안 메시지 전달 프레임워크로 통합한다. 기존 GPDS 스무딩 기법은 주로 라플라스 근사나 변분 베이지안(VB) 접근에 의존했으며, 이들 방법은 비선형 전이와 관측 함수에 대한 1차 테일러 전개 혹은 가우시안 근사에 제한된다. 저자들은 EP를 적용함으로써 각 타임스텝에서 “전방 메시지”(prediction)와 “후방 메시지”(correction)를 별도로 계산하고, 이들을 가우시안 형태로 유지한다. 핵심 아이디어는 비선형 함수 f와 g(전이·관측)를 가우시안 프로세스로 모델링하고, 해당 함수에 대한 입력 분포가 가우시안일 때 출력 분포를 가우시안으로 근사하는 ‘가우시안 순간 매칭’ 절차를 도입하는 것이다. 이 과정에서 기대값과 공분산을 정확히 계산하기 위해 수치적 적분(예: Gauss‑Hermite)이나 샘플링 기반 방법을 선택적으로 사용할 수 있다.

EP는 각 메시지를 “제거(remove) → 새롭게 근사(approximate) → 다시 삽입(insert)”하는 순환을 통해 사후분포를 점진적으로 개선한다. 논문에서는 전방‑후방 스무딩을 번갈아 수행하면서 EP 업데이트를 적용하는 알고리즘을 제시하고, 이를 “일반화된 메시지 전달”이라고 부른다. 이 접근법은 기존의 확장 칼만 스무더(EKS)와 확장 라플라스 스무더(EL) 등을 특수한 경우로 포함한다. 또한, EP는 사후분포의 비대칭성이나 다중모드성을 어느 정도 포착할 수 있어, 복잡한 동적 시스템(예: 비선형 로봇 팔, 금융 시계열)에서 더 현실적인 불확실성 추정을 제공한다.

실험에서는 합성 데이터와 실제 비디오/신경 기록 데이터를 사용해 예측 오차(RMSE)와 로그가능도(LL) 등을 비교하였다. 기대 전파 기반 메시지 전달이 기존 방법 대비 평균 10~15% 정도의 성능 향상을 보였으며, 특히 관측 노이즈가 큰 상황에서 불확실성 추정이 크게 개선되었다. 계산 복잡도는 동일한 가우시안 근사 구조를 유지하므로 O(T·M³) (T: 타임스텝, M: 가우시안 프로세스의 유도점) 수준이며, 병렬화가 용이해 실시간 적용 가능성도 제시한다.

결론적으로, 이 논문은 GPDS에 대한 추론을 EP라는 통일된 메시지 전달 체계로 재구성함으로써, 기존 스무더들의 한계를 극복하고 보다 정확하고 유연한 잠재 상태 추정을 가능하게 한다는 점에서 의미가 크다.