다양한 데이터 형태를 아우르는 PDE 기반 모델 MORPH

초록

MORPH는 1D부터 3D까지의 다양한 공간 차원과 스칼라·벡터 혼합 필드를 지원하는 모달리티-불가지론적인 자동회귀 PDE 파운데이션 모델이다. 컨볼루션·필드 간 교차‑어텐션·축 어텐션을 결합한 비전 트랜스포머 백본으로, 이질적인 시공간 데이터셋을 효율적으로 처리하고, 사전학습 후 파라미터‑효율적인 LoRA 어댑터를 이용해 여러 물리 문제에 전이 학습한다. 실험 결과, 전이 성능과 데이터 효율성에서 기존 최첨단 모델을 능가한다.

상세 분석

MORPH의 핵심 설계는 세 가지 메커니즘으로 요약된다. 첫째, 컴포넌트‑와이즈 컨볼루션은 스칼라와 벡터 채널을 동시에 처리해 지역적 상호작용을 포착한다. 이는 전통적인 비전 트랜스포머가 갖는 전역적 어텐션의 한계를 보완하고, 물리량 간의 미세한 연관성을 학습하는 데 유리하다. 둘째, 필드 간 교차 어텐션은 다중 물리 필드(F)를 하나의 융합된 표현으로 압축한다. 다중 물리 시뮬레이션에서 서로 다른 스케일과 단위를 가진 필드가 동시에 존재할 때, 교차 어텐션은 중요한 상관관계를 선택적으로 강조하고 불필요한 잡음을 억제한다. 셋째, **축 어텐션(axial attention)**은 4차원(시간 + 3D 공간) 전체 시공간 어텐션을 시간, 깊이, 높이, 너비 축으로 분리해 O(T² + D² + H² + W²) 복잡도로 축소한다. 이는 전통적인 완전 어텐션 O((T·D·H·W)²) 대비 메모리와 연산량을 크게 낮추면서도 장거리 의존성을 유지한다.

데이터 이질성을 다루기 위해 논문은 **Unified Physics Tensor Format (UPTF‑7)**을 제안한다. (B, T, F, C, D, H, W) 형태는 1D → 3D, 스칼라·벡터 혼합, 다양한 해상도 등을 하나의 텐서 스키마로 통합한다. 이는 사전학습 단계에서 서로 다른 베치 형태를 실시간으로 변환해 GPU 메모리 효율을 극대화한다.

모델 규모는 TI(7 M), S(30 M), M(126 M), L(480 M) 네 가지 변형을 제공하며, 파라미터‑효율적인 LoRA 어댑터를 통해 L 모델도 소수의 학습 파라미터만으로 다운스트림 작업에 적응한다. 실험에서는 6개의 이질적인 데이터셋(1D‑Diffusion, 2D‑Incompressible Navier‑Stokes, 3D‑Compressible Navier‑Stokes, 3D‑Turbulence, 3D‑MHD, 3D‑Self‑gravitating 흐름)으로 사전학습 후, 7개의 추가 데이터셋에 대해 전이 학습을 수행했다.

특히 **Zero‑Shot Gap‑Closure Ratio (GCR)**를 도입해 사전학습 모델이 전혀 미세조정 없이도 베이스라인 대비 얼마나 성능을 회복하는지 정량화했다. 2D‑Navier‑Stokes 사전학습 모델은 1D, 2D, 3D 전반에 걸쳐 GCR > 0을 기록했으며, 복잡한 다중 물리(MHD, 중력 흐름)에서도 의미 있는 전이 효과를 보였다. 이는 MORPH가 물리 연산자를 일반화된 형태로 학습했음을 시사한다.

비교 실험에서는 DeepONet, Fourier Neural Operator, 기존 비전 트랜스포머 기반 PDE 모델 등 최신 베이스라인을 모두 능가했으며, 특히 고해상도 3D 데이터에서 메모리 제한 없이 학습·추론이 가능했다. 또한 LoRA를 적용한 경우, 전체 파라미터를 재학습하는 경우와 거의 동일한 정확도를 달성하면서 학습 비용을 10배 이상 절감했다.

전반적으로 MORPH는 모달리티‑불가지론, 스케일‑효율성, 전이‑학습 가능성이라는 세 축을 동시에 만족시키는 최초의 대규모 PDE 파운데이션 모델이라 할 수 있다. 향후 물리‑기반 시뮬레이션, 실험 데이터 보강, 멀티피직스 최적화 등 다양한 과학·공학 분야에 적용될 잠재력이 크다.