Prophet 모델을 PyMC로 재구현해 다양한 베이지안 추론 기법 비교

초록

본 논문은 Facebook Prophet의 제한적인 추론 옵션을 극복하기 위해 모델을 PyMC로 완전 재구현하고, 선형 추세·계절성·휴일 요소를 모듈식 API로 제공한다. 이후 NUTS, Metropolis‑Hastings, DMZ와 같은 전통적 MCMC, L‑BFGS‑B 기반 MAP, ADVI·Full‑Rank ADVI 등 네 가지 베이지안 추론 방법을 동일 데이터셋에 적용해 수렴 진단, 효율성, 예측 정확도를 비교한다. 실험 결과 NUTS가 가장 안정적인 수렴과 충분한 ESS를 보였으며, ADVI가 가장 빠른 실행 시간에 경쟁력 있는 예측 성능을 제공한다.

상세 분석

이 연구는 시계열 예측에 널리 사용되는 Facebook Prophet이 제공하는 두 가지 추론 방법(L‑BFGS‑B 기반 MAP, NUTS 기반 MCMC)만으로는 모델 확장성과 실험 효율성에 한계가 있음을 지적한다. 저자들은 Prophet의 수학적 구조 y(t)=g(t)+∑s(t; p_i,c_i)+h(t)+ε(t) 를 그대로 유지하면서, PyMC를 활용해 완전한 베이지안 모델을 구현하였다. 핵심은 ‘LinearTrend’, ‘FourierSeasonality’ 등 개별 컴포넌트를 객체화하고, 덧셈·곱셈 연산자를 오버로드해 수학식과 동일한 직관적 구문을 제공하는 새로운 API이다. 이를 통해 사용자는 변화점 수, 계절성 차수, 로그 변환 등 세부 설정을 자유롭게 조정할 수 있다.

추론 방법은 크게 네 갈래로 나뉜다. 첫 번째는 전통적 MCMC 알고리즘인 Metropolis‑Hastings(MH), NUTS, 그리고 Z‑score 기반 DE‑Metropolis(DMZ)이다. MH는 무작위 워크 방식으로 수렴이 느리고 ESS가 낮으며, DMZ는 차별화된 제안 메커니즘을 갖지만 여전히 높은 자동상관을 보였다. 반면 NUTS는 HMC 기반으로 그래디언트를 활용해 효율적인 탐색을 수행, 4개의 체인 각각 2000표본(1000 warm‑up)만으로도 R‑hat≈1.0, ESS>3000을 달성했다. 두 번째는 MAP 추정으로, L‑BFGS‑B 최적화를 사용해 빠르게 점 추정값을 얻지만 posterior의 불확실성을 전혀 반영하지 못한다. 세 번째는 변분 추론(Variational Inference)으로, ADVI(대각 가우시안)와 Full‑Rank ADVI(전체 공분산 가우시안)를 적용했다. 두 방법 모두 100 000 iteration 후 ELBO가 안정화되었으며, ADVI가 실행 시간 면에서 가장 유리했지만, 근사 정확도는 FR‑ADVI가 약간 우수했다.

실험 데이터는 Peyton Manning 위키피디아 페이지 일일 조회수 로그 시계열이며, 2년을 학습·1년을 예측에 사용했다. 기본 Prophet 설정(25 변화점, 연간·주간 계절성) 그대로 적용했으며, 각 추론 방법별로 MSE, RMSE, MAE, MAPE를 측정했다. MCMC 중 NUTS는 전체 표본과 수렴 시점 모두에서 비슷한 예측 성능을 보였고, DMZ는 수렴에 실패했음에도 불구하고 가장 낮은 MSE를 기록해 근사 품질과 수렴 여부가 반드시 일치하지 않음을 시사한다. 변분 추론에서는 ADVI가 가장 낮은 MSE(0.709)와 MAPE(0.086)를 달성했으며, FR‑ADVI는 약간 높은 오류를 보였다. 실행 시간 측면에서는 MAP이 가장 빠르고, ADVI가 그 다음, NUTS가 가장 오래 걸렸다.

결론적으로, PyMC 기반 Prophet 재구현은 모델 확장성을 크게 향상시켰으며, 다양한 베이지안 추론 기법을 손쉽게 비교할 수 있는 환경을 제공한다. NUTS는 정확도와 수렴 안정성 면에서 최우수하지만 계산 비용이 크고, ADVI는 빠른 실험 주기와 경쟁력 있는 예측 정확도로 실용적이다. 향후 연구에서는 계절성·휴일 효과를 포함한 다변량 확장, 하이퍼파라미터 자동 튜닝, 그리고 변분 근사의 품질을 개선하기 위한 리치 변분 방법(Rich VI) 등을 탐색할 계획이다.