보통 미분 방정식을 위한 기반 추론 모델

초록

FIM-ODE는 저차 다항식 벡터 필드를 사전 학습한 기반 추론 모델로, 잡음이 섞인 궤적만으로 ODE의 벡터 필드를 한 번의 전방 패스로 예측한다. 단순한 사전 분포에도 불구하고 ODEFormer와 동등하거나 더 좋은 제로샷 성능을 보이며, 파인튜닝 시 빠르고 안정적인 적응을 제공한다.

상세 분석

본 논문은 기존 ODE 추정 방법이 요구하는 복잡한 파이프라인과 풍부한 머신러닝 전문지식의 진입 장벽을 낮추고자, Foundation Inference Model(FIM) 프레임워크를 ODE에 적용한 FIM-ODE를 제안한다. 핵심 아이디어는 두 단계로 구성된다. 첫째, 저차(최대 3차) 다항식으로 구성된 벡터 필드 집합을 사전 분포(p(f))로 정의하고, 초기 조건과 잡음·샘플링 과정을 통해 대규모 합성 데이터셋을 생성한다. 다항식은 비선형·혼돈 현상을 충분히 표현하면서도 Lipschitz 연속성을 보장해 수치적 안정성을 확보한다. 둘째, 트랜스포머 기반 신경 연산자를 설계해 불규칙하게 샘플링된 다중 궤적을 입력으로 받아, 각 상태 위치에 대한 로컬 벡터 필드 값을 추정한다. 입력은 (현재 상태, 변위, 변위 제곱, 시간 간격) 네 가지 전이 특성으로 변환되어, ODE의 미분 형태와 직접적인 연관성을 갖는다. 인코더는 이러한 전이 집합을 순열 불변 표현으로 압축하고, 디코더는 쿼리 위치와 교차 어텐션을 통해 지역적인 필드 값을 출력한다. 또한, 각 차원의 평균·분산 정규화와 시간 간격 재센터링을 통해 스케일 불변성을 확보함으로써, 다양한 시간·공간 스케일을 가진 시스템에 일반화한다.

실험에서는 1~3 차원 다항식 ODE뿐 아니라 인간 동작 데이터와 같은 OOD(Out‑Of‑Distribution) 시스템까지 테스트하였다. 제로샷 설정에서 FIM-ODE는 ODEFormer와 동등하거나 더 낮은 평균 제곱 오차(MSE)를 기록했으며, 특히 데이터가 풍부한 영역에서는 로컬 신경 연산자 특성상 전역 심볼릭 표현보다 정확도가 높았다. 파인튜닝 단계에서는 사전 학습된 가중치를 초기값으로 사용함으로써, 기존 신경 ODE나 GP 기반 방법에 비해 수십 배 빠른 수렴과 안정적인 최적화를 달성했다. 제한 사항으로는 고차원(>3) 시스템과 매우 발산하는 궤적에 대한 일반화가 아직 미흡하며, 사전 분포가 다항식에 국한돼 있어 특정 물리적 제약을 갖는 시스템(예: 보존 법칙)에는 추가적인 사전 설계가 필요함을 언급한다. 전반적으로, 복잡한 사전 지식 없이도 단일 전방 패스로 ODE 벡터 필드를 추정할 수 있는 실용적인 도구를 제공한다는 점에서 의미가 크다.