대규모 물리 모델을 위한 선형 ODE 토큰과 공통 구조 허브

초록

LASS-ODE는 물리 시스템의 ODE를 토큰 단위의 국소 선형 형태로 변환해 연산 비용을 크게 낮추고, 공통 구조 허브(CSH)를 이용해 여러 시스템 간 지식을 공유한다. 40 GB 규모의 ODE 궤적 데이터로 사전학습한 뒤, 제로샷 일반화와 파인튜닝을 통해 다양한 동적 시스템을 정확히 예측한다.

상세 분석

본 논문은 물리 기반 모델링과 대규모 트랜스포머의 결합이라는 두 난제를 동시에 해결하고자 한다. 첫 번째 난제는 ODE 통합 연산이 비선형 미분 방정식의 특성상 GPU 병렬화가 어려워 대규모 데이터에 적용하기 힘들다는 점이다. 저자들은 이를 “토큰‑와이즈 로컬 선형 ODE”라는 아이디어로 극복한다. 각 토큰은 시간 구간을 작은 구간으로 나눈 뒤, 해당 구간에서 시스템의 벡터 필드를 1차 근사(선형)로 표현한다. 이렇게 하면 전역 비선형 적분 대신 각 토큰마다 간단한 행렬‑벡터 연산으로 상태를 전파할 수 있어, O(1) 수준의 연산 복잡도로 스케일업이 가능해진다. 선형 근사는 토큰이 충분히 작을 경우 실제 비선형 궤적을 고정밀로 근사한다는 수학적 근거(접선 공간 근사)를 제시하고, 실험에서도 오차가 미미함을 확인한다.

두 번째 난제는 서로 다른 물리 시스템 간에 공유되는 구조적 정보를 어떻게 효율적으로 학습할 것인가이다. 기존 트랜스포머는 각 입력 시퀀스 내부에서만 어텐션을 수행해 시스템 간 지식 전이가 제한적이었다. LASS-ODE는 “공통 구조 허브(CSH)”라는 전역 토큰 집합을 도입한다. CSH 토큰은 모든 시스템에 공통으로 삽입되어, 각 시스템의 토큰과 함께 셀프‑어텐션을 수행한다. 이 설계는 별도의 복잡한 교차‑어텐션 모듈이나 검색 기반 메모리를 필요로 하지 않으며, 메모리 오버헤드도 고정된 소량에 머문다. 결과적으로 서로 다른 ODE 시스템이 공유하는 보존 법칙, 대칭성, 감쇠·강제 패턴 등을 자동으로 추출한다.

데이터 전처리 측면에서도 중요한 공헌이 있다. 저자들은 채널 독립 처리, RBF 기반 시간 임베딩 및 모듈레이션, 채널 인코딩, 그리고 MoE(전문가 혼합) 모듈을 결합해 이질적인 차원·시간 해상도의 ODE 데이터를 하나의 정규화된 입력 형태로 통합한다. 특히 RBF 시간 임베딩은 토큰이 “시간적으로 어디에 위치하는가”를 명시적으로 인코딩해, 토큰‑별 ODE 파라미터 추정 시 일관성을 보장한다.

실험에서는 40 GB 규모의 다양한 ODE 궤적(다중 차원, 다양한 시간 스케일, 물리적 보존 법칙 포함)으로 사전학습을 진행하고, 이후 보존형 해밀턴 시스템, 비보존형 감쇠 진동, 혼합형 강제 시스템 등에서 제로샷 예측 성능을 평가한다. 결과는 기존 Neural ODE, PINN, 심지어 최신 대형 시계열 모델보다 월등히 높은 정확도와 장기 외삽 능력을 보여준다. 또한 LoRA 기반 파인튜닝을 적용하면 특정 도메인(예: 고속 항공역학)에서 추가적인 성능 향상이 가능함을 입증한다.

전체적으로 LASS-ODE는 (1) ODE 연산을 토큰‑레벨 선형화해 계산 효율성을 획득하고, (2) CSH를 통한 전역 지식 공유로 물리 시스템 간 일반화를 촉진한다는 두 축을 성공적으로 구현한다. 이는 물리‑기반 시뮬레이션, 디지털 트윈, 제어 시스템 등에 대규모 AI 모델을 적용하려는 연구자와 엔지니어에게 중요한 전환점이 될 것으로 기대된다.