데이터 기반 비선형 스무더(DNS)로 모델‑프리 복잡 시스템 상태 추정

초록

본 논문은 상태 전이 모델이 전혀 없는 복잡한 비선형 동적 시스템을 대상으로, 측정 전용 데이터만을 이용해 비지도 학습으로 숨은 상태 시퀀스를 추정하는 데이터‑드리븐 비선형 스무더(DNS)를 제안한다. 순환 신경망 기반의 Deep Recurrent Architecture(DRA)를 설계해 과거·미래 측정값과 이전 추정 상태를 입력으로 사용하고, 가우시안 사전‑후행을 폐쇄형으로 계산한다. 실험은 stochastic Lorenz, Chen, 그리고 비마코프식 double‑spring pendulum 시스템에서 수행했으며, 기존 Deep Kalman Smoother(DKS)와 iDANSE에 비해 SMNR, NMSE 등에서 현저히 우수한 성능을 보였다.

상세 분석

이 논문은 “모델‑프리”라는 가장 어려운 상황을 가정한다. 즉, 상태 전이 확률 모델(p(x_t|x_{t‑1}))이 전혀 주어지지 않으며, 오직 선형 측정 모델 y_t = Hx_t + w_t와 측정 데이터만 이용한다. 기존의 Rauch‑Tung‑Striebel(RTS) 스무더와 입자 스무더는 STM이 필요하므로 적용 불가하고, 최근의 데이터‑드리븐 방법들(DKS, iDANSE 등)도 대부분 마코프 가정을 유지하거나, 측정‑전용 학습에 한계가 있다. 저자들은 이러한 한계를 극복하기 위해 두 단계(추론·학습)로 구성된 DNS를 설계한다.

핵심 아이디어는 상태 시퀀스의 사후분포 p(x_{1:T}|y_{1:T})를 순차적으로 근사하는 것이다. 식 (3)에서 전체 사후를 p(x_1|y_{1:T})와 p(x_t| \hat{x}{1:t‑1}, y{1:T})의 곱으로 분해하고, \hat{x}{1:t‑1}은 이전 단계에서 얻은 추정값을 사용한다. 여기서 중요한 차별점은 iDANSE와 달리 “anti‑causal” 측정 y{t+1:T}를 포함한다는 점이다. 즉, 현재 상태를 추정할 때 미래 측정 정보를 활용해 더 정확한 사전분포를 만든다. 이는 베이지안 스무딩의 본질에 부합하며, iDANSE가 놓친 정보를 보완한다.

사전분포는 DRA에 의해 가우시안 형태(N(x_t; m_t, L_t))로 파라미터화된다. DRA는 세 개의 GRU(과거 측정, 미래 측정, 이전 추정 상태)와 두 개의 완전 연결층으로 구성되며, skip‑connection을 통해 추정 상태 정보를 직접 전달한다. 이렇게 얻은 m_t, L_t에 현재 측정 y_t와 측정 노이즈 공분산 C_w를 적용해 칼만 업데이트와 동일한 형태의 폐쇄형 사후(N(x_t; \tilde{m}_t, \tilde{L}_t))를 계산한다. 따라서 DNS는 전통적인 칼만 필터/스무터와 동일한 수식적 효율성을 유지하면서, STM 대신 학습된 DRA를 이용한다.

학습 단계는 완전 비지도 방식이다. 측정 시퀀스 y_{1:T}와 현재 단계에서 만든 \hat{x}{1:t‑1}을 이용해 로그우도 L = Σ_t log p(y_t | \hat{x}{1:t‑1}, y_{1:t‑1}, y_{t+1:T}; θ) 를 최대화한다. 여기서 p(y_t|·)는 사전‑후행 과정을 통합한 가우시안 적분 결과이며, 식 (8)에서 명시된 대로 닫힌 형태를 가진다. 따라서 역전파를 통해 θ (GRU와 dense 층의 가중치)를 직접 최적화할 수 있다. 학습 시에도 추정 상태 \hat{x}_{1:t‑1}을 순차적으로 생성해야 하므로, 추론 과정이 학습 루프에 내재한다는 점이 독특하다.

실험에서는 세 가지 스토캐스틱 시스템을 사용했다. Lorenz‑63과 Chen은 3차원 마코프식이며, double‑spring pendulum은 4차원 비마코프식이다. 측정 행렬 H는 단위행렬(I)로 설정하고, 다양한 SMNR(‑10, 0, 10 dB)에서 성능을 평가했다. 결과표(Table 1)에서 DNS는 NMSE와 SMNR 모두에서 DKS와 iDANSE를 크게 앞섰으며, 특히 높은 노이즈(‑10 dB) 상황에서 anti‑causal 정보를 활용한 DNS‑S(경량형)보다 전체 DNS가 더 우수했다. 또한 연산 복잡도 측면에서 ER‑TSS(STM 기반)와 비교했을 때, DNS는 STM이 없음에도 불구하고 비슷하거나 더 나은 정확도를 제공한다.

이 논문의 주요 기여는 (1) 완전 비지도 학습으로 STM 없이 베이지안 스무딩을 구현한 점, (2) 미래 측정 정보를 포함한 순환 아키텍처 설계, (3) 폐쇄형 가우시안 사후를 이용해 효율적인 추론을 유지한 점이다. 한계로는 (a) 선형 측정 모델에만 적용 가능하다는 제약, (b) 학습 시 추정 상태가 누적 오류에 민감할 수 있다는 점, (c) 대규모 실시간 시스템에 대한 실험이 부족하다는 점을 들 수 있다. 향후 연구에서는 비선형 측정, 다중 센서 융합, 그리고 온라인 적응 학습을 포함한 확장이 기대된다.