다중스케일 인식 혼돈 시스템 예측을 위한 파운데이션 모델 ChaosNexus

초록

ChaosNexus는 계층적 패치 크기를 활용해 장·단기 의존성을 동시에 포착하고, MoE와 파동산란 기반 주파수 지문으로 시스템별 스펙트럼 특성을 반영하는 새로운 ScaleFormer 기반 파운데이션 모델이다. 9,000여 개의 합성 혼돈 시스템과 실제 기상 관측 데이터에서 제로샷 예측 정확도와 장기 어트랙터 통계 보존 능력 모두 기존 최첨단 모델을 능가한다.

상세 분석

본 논문은 ODE 기반 혼돈 시스템의 예측에 특화된 파운데이션 모델을 설계하면서, 기존 트랜스포머 기반 접근법이 놓친 두 가지 핵심 문제—다중스케일 시간 구조와 시스템 간 스펙트럼 이질성—를 동시에 해결한다. 첫 번째 기여는 ScaleFormer라는 U‑Net 스타일의 인코더‑디코더 구조이다. 입력 시계열을 일정 길이 D의 패치로 분할하고, 인코더 단계에서 패치 병합(patch merging)을 통해 시간 해상도를 2배씩 감소시키면서 효과적인 샘플링 레이트가 감소하도록 설계한다. 이는 Nyquist‑Shannon 정리를 이용한 물리적 저역통과 필터링 효과와 일치해, 초기 레이어는 고주파 변동을 보존하고 깊은 레이어는 저주파 전역 구조를 추출한다. 디코더는 대칭적인 패치 확장(patch expansion)과 스킵 연결을 통해 손실된 고해상도 정보를 복원한다.

두 번째 핵심은 각 ScaleFormer 블록에 삽입된 Mixture‑of‑Experts(MoE) 레이어이다. 전문가 집합 M개와 공유 전문가 1개로 구성된 MoE는 입력 특성에 기반해 Top‑K 전문가만 활성화한다. 라우터는 정규화된 입력에 선형 변환 후 Softmax을 적용해 라우팅 스코어를 계산하고, Sigmoid를 통해 공유 게이트를 구한다. 이렇게 함으로써 서로 다른 혼돈 시스템(예: Lorenz‑63 vs. Lorenz‑96)의 고유한 파워 스펙트럼에 맞는 전용 파라미터를 동적으로 할당한다. 또한 축축한 복합성 감소를 위해 변수축(VA)과 시간축(TA)으로 분리된 이중 축 어텐션을 사용해 연산 복잡도를 O(S²+V²)로 낮춘다.

세 번째 혁신은 주파수‑강화 읽기 단계이다. 입력 시계열에 웨이블릿 스캐터링 변환을 적용해 다중 스케일 스펙트럼 요약 F_w를 추출하고, 이를 평균 풀링해 고정 길이 주파수 지문 \bar{F}_w를 만든다. 이 지문은 디코더 출력들의 스케일별 평균 풀링 결과와 결합돼 선형 융합 레이어를 통과하면서 최종 예측에 반영된다. 따라서 모델은 “전역 스펙트럼 뷰”를 갖게 되어, 동일한 구조라도 서로 다른 에너지 분포를 가진 시스템에 대해 적절히 조정된다.

학습 목표는 단기 예측 손실과 장기 어트랙터 통계 손실을 동시에 최소화하는 복합 손실 함수이다. 어트랙터 통계는 차원 축소된 재구성 분포와 실제 재구성 분포 사이의 MMD 혹은 OT 거리로 측정한다. 이렇게 하면 모델이 단순히 점별 오차를 최소화하는 것이 아니라, 혼돈 시스템 고유의 불변 측정값(예: Lyapunov 지수, 프랙탈 차원)을 보존하도록 유도한다.

실험에서는 20,000개의 합성 ODE 시스템(다양한 차원, 파라미터, 초기조건)으로 사전 학습하고, 9,000개 이상의 테스트 시스템에서 제로샷 예측을 수행했다. 결과는 평균 제곱 오차(MSE)와 장기 통계(상관 함수, 파워 스펙트럼, 리아프노프 지수) 모두에서 기존 최첨단 모델(Panda, DynaMix)을 크게 앞섰다. 특히 5일 기상 예보(관측소 기반)에서는 평균 절대 오차(MAE) 1°C 미만을 기록했으며, 이는 470K 샘플을 미세조정한 베이스라인보다도 우수했다.

전반적으로 이 논문은 (1) 계층적 패치 처리로 다중스케일 정보를 구조적으로 보존, (2) MoE와 라우팅 메커니즘으로 시스템 간 스펙트럼 이질성을 적응적으로 학습, (3) 주파수 지문을 통한 전역 스펙트럼 인식을 결합함으로써, ODE 기반 혼돈 시스템 예측에 있어 파운데이션 모델의 새로운 설계 패러다임을 제시한다.