확장 파라미터 필터

본 논문은 동적 베이지안 네트워크와 같은 시계열 모델에서 정적 파라미터를 추정하는 기존 방법들의 한계를 지적하고, 이를 극복하기 위한 새로운 알고리즘인 확장 파라미터 필터(Extended Parameter Filter, EPF)를 제안한다. 1. **배경 및 문제 정의** - 시계열 모델은 상태 Xₜ 와 관측 Yₜ 로 구성되며, 파라미터 θ 는 전이·관측 확률을 결정한다. 파라미터가 정적이면, 관측이 누적될수록 사후분포는 점점 좁아지지만, 파티클 필터는 초기 파라미터 샘플을 고정한 채 재샘플링만 수행하므로 파라미터 퇴화(degeneracy) 문제가 발생한다. - 기존 해결책으로는 인공 동역학(artificial dynamics), 온라인 EM, Particle MCMC 등이 있으나, 각각 편향, 지역 최적, 혹은 O(T) 연산 비용이라는 단점을 가진다. 2. **Storvik 필터와 칼만 필터의 연결** - Storvik(2002)은 충분통계량 Sₜ 이 존재할 경우, 파라미터 사후 p(θ|x₀:ₜ) 를 Sₜ 에만 의존하도록 하여 O(1) 업데이트를 가능하게 했다. - 저자는 Storvik 알고리즘이 실제로 파라미터 공간에서의 칼만 필터와 동일한 형태임을 보인다. 전이 행렬이 항등, 전이 잡음이 0, 관측 행렬이 Fₜ (θ와 상태의 선형 결합)인 특수 칼만 필터로 해석된다. 3. **분리가능성(separability) 정의 및 정리** - 전이 함수 f_θ(xₜ₋₁) 가 l(xₜ₋₁)ᵀ h(θ) 형태로 표현될 수 있고, 잡음이 로그‑다항식 밀도를 가질 때 시스템을 ‘분리가능’하다고 정의한다. - 정리 1에 따르면, 분리가능 시스템에서는 Fisher–Neyman 팩터화 정리를 이용해 고정 차원의 충분통계량이 존재한다. 이는 Storvik 필터가 적용 가능한 충분조건을 일반화한다. 4. **확장 파라미터 필터(EPF) 설계** - 비분리 시스템에 대해 두 가지 근사 방법을 제시한다. 첫 번째는 파라미터 사후분포 p(θ|x₀:ₜ) 를 로그‑다항식 형태로 근사하고, 두 번째는 전이 함수 f_θ 그 자체를 테일러 급수(또는 다항식) 전개하여 l(x)ᵀ h(θ) 형태로 변환한다. - 근사된 모델은 분리가능성을 만족하므로, Storvik 알고리즘을 그대로 적용해 Sₜ 을 지속적으로 업데이트하고, \hat p(θ|Sₜ) 에서 파라미터를 샘플링한다. 알고리즘 3에 요약된 바와 같이, 각 시간 단계마다 (i) 충분통계량 업데이트, (ii) 파라미터 샘플링, (iii) 상태 샘플링, (iv) 가중치 기반 재샘플링을 수행한다. 모든 연산은 입자 수 N 에 대해 상수 시간이며, 관측 길이 T 와 무관하다. 5. **다항식 근사의 구체적 구현** - 로그‑다항식 근사는 일반적인 다항식 차수 K 를 선택해 log p(θ|·) ≈ ∑_{k=0}^K a_k θ^k 형태로 표현한다. 계수 a_k 는 현재 충분통계량을 이용해 순차적으로 업데이트한다. - 전이 함수 근사의 경우, 예시로 f_θ(x)=sin(θx) 를 3차 테일러 전개로 근사하면 \hat f_θ(x)=xθ−(x³θ³)/6 가 된다. 이때 l(x)=x, h(θ)=θ−(θ³)/6 으로 분리가능성을 확보한다. 6. **실험 및 평가** - **합성 실험**: (a) 선형‑가우시안 모델(Storvik이 원래 적용 가능)에서 EPF는 기존 Storvik과 동일한 정확도를 보이며, 연산 시간은 상수. (b) 비선형 sin 전이 모델에서 EPF는 Particle MCMC 대비 20% 낮은 MSE를 기록하면서도 O(1) 시간을 유지. - **실제 데이터**: 금융 시계열(주가 변동)과 생체 신호(심전도)에 적용했을 때, 파라미터 추정의 수렴 속도가 기존 온라인 EM보다 2배 빠르고, 추정값의 변동성이 크게 감소하였다. - **스케일링**: 파라미터 차원이 30~50까지 증가해도 입자 수 N=200 만으로도 퇴화 현상이 거의 관찰되지 않았다. 이는 충분통계량이 고정 차원으로 유지되기 때문이며, 메모리 사용량도 일정하게 유지된다. 7. **결론 및 향후 연구** - EPF는 “분리가능성”이라는 구조적 조건을 일반화하고, 다항식 근사를 통해 비분리 시스템에도 적용 가능한 실시간 파라미터 추정 프레임워크를 제공한다. - 향후 연구로는 (i) 자동 차수 선택을 위한 베이지안 모델 선택 기법, (ii) 비정규분포 잡음에 대한 확장, (iii) 다중 모드 사후분포를 다루는 혼합 다항식 근사 등이 제안된다.