잠재 역학과 점수 기반 필터의 결합으로 빠른 데이터 동화 구현

초록

LD‑EnSF는 Latent Dynamics Network(LDNet)와 Ensemble Score Filter(EnSF)를 결합해, 고차원 시스템을 저차원 잠재 공간에서 직접 진화시킨다. 개선된 LDNet은 두 단계 학습과 새로운 재구성 구조를 도입해 정확한 잠재 동역학을 학습하고, LSTM 기반 관측 인코더는 공간·시간적으로 희소하고 불규칙한 관측 데이터를 효과적으로 잠재 변수와 파라미터로 변환한다. 전체 과정을 잠재 공간에서 수행함으로써 기존 방법 대비 수십 배 이상의 속도 향상을 달성하면서도 높은 정확도와 강인성을 유지한다.

상세 분석

LD‑EnSF는 기존 점수 기반 데이터 동화 기법인 EnSF가 직면한 두 가지 핵심 한계를 동시에 해결한다. 첫째, EnSF는 전체 상태 공간에서 역방향 확산 SDE를 풀어야 하므로 고차원 시스템에서는 연산 비용이 급격히 증가한다. 둘째, 관측이 매우 희소할 경우 관측 가능도(likelihood)의 점수(∇ₓ log p(y|x))가 거의 0이 되어 업데이트 단계가 무의미해진다. 이를 극복하기 위해 저자들은 잠재 공간에서 동역학을 직접 모델링하는 LDNet을 도입한다. LDNet은 상태 sₜ와 파라미터 uₜ를 입력으로 받아 잠재 상태의 시간 미분을 예측하고, Euler 전진으로 sₜ를 업데이트한다. 특히 초기 잠재 상태를 0이 아닌 s_{‑1}=0으로 설정해 다양한 초기 조건을 포괄하도록 설계했으며, 두 단계 학습(공동 학습 → 재구성 네트워크 미세조정)과 ResNet‑기반 재구성기, Fourier 인코딩을 결합해 고주파 공간 정보를 효과적으로 복원한다.

관측 인코더는 기존 VAE 기반 인코더와 달리 LSTM을 사용한다. LSTM은 과거 관측 시퀀스 y₁:ₜ를 입력으로 받아 잠재 상태와 파라미터를 동시에 추정(ˆsₜ, ˆuₜ)한다. 이는 관측이 불규칙한 위치와 시간에 존재해도 시간적 상관관계를 활용해 정보를 보강한다는 장점이 있다. 손실 함수는 잠재 상태와 파라미터 추정 오차의 L2 norm을 최소화하도록 설계돼, 두 변수 간 정렬을 강제한다.

잠재 공간에서의 베이지안 필터링은 EnSF와 동일한 점수 기반 업데이트를 적용한다. 예측 단계에서는 LDNet이 제공하는 전이 확률 P(κₜ|κₜ₋₁)로 샘플을 전파하고, 업데이트 단계에서는 LSTM 인코더가 만든 잠재 관측 ϕₜ와의 likelihood를 이용한다. 여기서 ϕₜ는 단순히 κₜ와 동일한 항등 매핑을 사용해 구현되며, 관측 노이즈는 LSTM을 통해 추정한다. 전체 파이프라인은 (1) LDNet 학습, (2) LSTM 인코더 학습, (3) 잠재 EnSF 실행, (4) 필요 시 재구성 네트워크를 통해 전 상태 복원이라는 순서로 진행된다.

실험에서는 Kolmogorov 흐름, 쓰나미 시뮬레이션, 대기 모델 등 고차원·비선형 시스템을 대상으로, 관측 비율이 0.5 % 수준으로 극도로 희소한 경우에도 기존 EnSF·Latent‑EnSF 대비 RMSE가 30 %50 % 감소하고, 연산 시간은 10배100배 단축되는 것을 확인했다. 특히 잠재 궤적이 부드러워 시간 간격이 아닌 임의 시점에서도 정확한 재구성이 가능함을 보였으며, 파라미터 추정 정확도 역시 LSTM 인코더 덕분에 크게 향상되었다.

전반적으로 LD‑EnSF는 (1) 전통적인 전방 시뮬레이션을 완전히 배제하고 잠재 동역학만으로 예측·업데이트를 수행, (2) 희소·불규칙 관측에 강인한 LSTM 인코더, (3) 고효율·고정밀 재구성 구조라는 세 축을 결합해, 실시간·자원 제한 환경에서의 대규모 데이터 동화에 실용적인 솔루션을 제공한다.