데이터 동화 알고리즘 평가: 베이지안 금본위와 2차원 나비에 스토크스 실험

초록

본 논문은 2차원 나비에-스토크스 방정식을 이용해 베이지안 사후분포를 정확히 샘플링하고, 이를 기준으로 4D‑VAR, 3D‑VAR, 확장 칼만 필터, 앙상블 칼만 필터 등 대표적인 동화 기법들의 평균·공분산 재현 능력을 정량적으로 평가한다. 결과는 평균은 적절한 파라미터 선택 시 충분히 복원되지만, 공분산은 대부분의 근사 필터가 크게 오차를 보이며, 안정성을 위해 인플레이션·스무딩 등 인위적 조정이 필요함을 보여준다. 이러한 한계는 모델 복잡도가 증가해도 근본적으로 변하지 않는다.

상세 분석

이 연구는 고차원·저예측가능성을 갖는 지구물리 모델을 대표하는 2D 나비에‑스토크스 방정식을 선택함으로써, 베이지안 접근이 실제 운영 환경에서 구현되기 어려운 이유를 명확히 드러낸다. 저자들은 최신 MCMC 기법(예: 사전‑조건화된 랜덤 워크, 하밀턴 몬테카를로)을 이용해 사후분포를 ‘금본위’로 정의하고, 각 동화 알고리즘이 재현한 1차·2차 모멘트와의 상대오차를 정량화하였다.

4D‑VAR은 최적화 기반으로 사후 평균을 효과적으로 추정하지만, 공분산을 직접 제공하지 않으며, 선형화 오차가 누적돼 장기 예측에서는 불안정성을 보인다. 3D‑VAR은 고정된 사전 공분산을 사용해 계산량을 크게 절감하지만, 실제 동역학의 비선형성에 대한 반영이 부족해 공분산 재현이 크게 왜곡된다. 확장 칼만 필터(EKF)는 상태와 공분산을 동시에 선형화하지만, 고차원에서의 행렬 연산 비용과 수치적 불안정성(특히 공분산의 비정정성) 때문에 실용성이 제한된다. 앙상블 칼만 필터(EnKF)는 샘플 기반 공분산 추정으로 차원 저주를 완화하지만, 샘플 수가 제한될 경우 공분산 스프레드가 과소/과대 평가되며, 인플레이션·局所化 같은 보정이 필수적이다.

특히 저자들은 ‘공분산 수정이 필터 안정성을 보장하지만, 이는 실제 불확실성 추정과는 반비례한다’는 중요한 교훈을 제시한다. 실험 결과는 평균 재현에서는 파라미터 튜닝(관측 오차, 인플레이션 계수 등)이 충분히 성능을 끌어올릴 수 있음을 보여주지만, 공분산 재현에서는 모든 근사 필터가 베이지안 기준에 비해 30%~200% 이상의 상대오차를 보였다. 이는 비선형 동역학에서 공분산이 급격히 변형되는 현상을 선형/가우시안 가정이 포착하지 못함을 의미한다.

또한, 베이지안 사후분포와 필터·변분 방법 사이의 이론적 연결 고리(예: 4D‑VAR ↔ MAP 추정, 전방·후방 필터 ↔ 스무딩) 를 재조명하면서, 실제 구현 시 발생하는 근사 단계(선형화, 샘플링, 국소화 등)가 이론적 등가성을 깨뜨린다는 점을 강조한다. 최종적으로, 모델 복잡도(점성 감소, 고해상도 격자) 를 변화시켜도 위와 같은 경향은 유지되며, 이는 알고리즘 자체의 구조적 한계임을 시사한다.