물리 기반 트랜스포머: PDE 인식에 물리 인지 어텐션 메커니즘 도입

본 논문은 과학적 머신러닝 분야에서 “데이터가 희소하고 불규칙하게 관측된 물리 현상을 연속적인 필드로 복원”하는 문제를 다룬다. 전통적인 수치 해석법은 고해상도 격자를 필요로 하지만, 이는 고차원·다중 스케일 시스템에서는 계산 비용이 급증한다. 최근 PINN, DeepONet, FNO 등 다양한 물리‑인포드 접근법이 제안됐지만, 대부분은 물리 제약을 손실 함수에 벌점 형태로 추가한다. 이러한 방식은 데이터가 부족하거나 PDE가 강경한 경우, 그래디언트 불균형·최적화 불안정·스펙트럴 바이어스 등으로 물리 일관성이 크게 저하되는 단점이 있다. 이에 저자들은 물리 정보를 모델 구조 자체에 내재시키는 새로운 아키텍처인 Physics‑Guided Transformer(PGT)를 제안한다. PGT는 크게 두 부분으로 구성된다. 첫 번째는 물리‑가이드 어텐션을 적용한 트랜스포머 인코더이며, 두 번째는 FiLM‑조절 SIREN 디코더이다. 인코더는 관측값 (u_i, x_i, t_i)를 선형 변환해 토큰 c_i를 만든 뒤, 전역 토큰 c_glob와 함께 입력한다. 각 트랜스포머 블록에서 self‑attention은 기존 QKᵀ/√d_k에 물리‑가이드 바이어스 Γ를 더한다. Γ는 PDE의 Green’s function, 즉 기본 해를 로그 변환한 형태이다. 확산 방정식의 경우 Gaussian heat kernel G(x, t)= (4π α Δt)^{-d/2} exp(-‖x‖²/(4αΔt)) 를 사용해 Γ_{ij}=log G(x_i−x_j, t_i−t_j) 로 정의한다. 이는 공간 거리와 시간 차이에 따라 어텐션 가중치를 자연스럽게 감소시키며, 시간적 인과성(Δt>0)과 확산 길이(σ=√(2αΔt))를 명시적으로 반영한다. 파동 방정식 등 초음속 전파가 있는 경우에는 빛 원뿔 내부만 유한값을 갖도록 마스크를 적용한다. 이렇게 물리‑가이드 어텐션은 토큰 간 상호작용을 물리 법칙에 맞게 제한함으로써, 학습 초기에 물리적 구조를 강제한다. 쿼리 좌표 (x, t)는 cross‑attention을 통해 인코더에서 얻은 컨텍스트 토큰에 접근하고, 이때 얻어진 피처는 디코더에 전달된다. 디코더는 FiLM‑modulated SIREN으로, FiLM 파라미터(γ, β)는 전역 토큰과 컨텍스트 피처에서 동적으로 추출된다. SIREN은 sin(ω·x+φ) 형태의 고주파 활성화를 사용해 복잡한 스펙트럼을 표현하지만, FiLM을 통해 주파수 스케일을 상황에 맞게 조절함으로써 과도한 고주파 진동을 억제하고 물리적 부드러움을 유지한다. 학습 목표는 세 가지 손실의 가중합이다. ① 데이터 재구성 손실(L₂) – 관측값과 예측값의 차이, ② 경계·초기 조건 손실 – 물리적 경계와 초기값을 정확히 만족, ③ PDE residual 손실 – 자동 미분을 통해 계산된 미분 연산이 PDE를 만족하는 정도. 기존 PINN과 달리, 물리‑가이드 어텐션이 이미 PDE 구조를 내재하고 있기 때문에 residual 손실에 대한 의존도가 낮아져, 최적화가 더 안정적이고 빠르게 수렴한다. 실험에서는 두 가지 베이스라인을 선정했다. (1) 1D 열 방정식(∂_t u = α ∂_{xx} u) – 100개의 무작위 시공간 샘플만 사용, (2) 2D 인컴프레시블 나비에‑스톡스 흐름(원통 와류) – 1500개의 스캐터드 샘플 사용. 결과는 다음과 같다. 1D 실험에서 PGT는 상대 L₂ 오차 5.9 × 10⁻³을 달성했으며, 이는 기존 PINN 대비 38배, 순수 INR 대비 90배 개선된 수치다. 2D 실험에서는 PGT가 상대 L₂ 오차 0.034와 PDE residual 8.3 × 10⁻⁴을 동시에 만족, 이는 “오차와 물리 일관성 두 축 모두 최적”이라는 의미다. 비교 대상인 PINN, PINN‑Former, FNO, 전통 트랜스포머는 각각 오차는 낮지만 residual이 크게 남거나, 반대로 residual은 낮지만 재구성 오차가 크게 나타났다. 수렴 곡선을 살펴보면, PGT는 초기 단계부터 오차가 단조 감소하며, plateau 현상이 거의 없었다. 반면 residual‑기반 방법은 초기 급격한 감소 후 정체 구간이 길어졌다. 이는 물리‑가이드 어텐션이 학습 초기에 강력한 inductive bias를 제공해, 파라미터 공간을 물리적으로 의미 있는 영역으로 제한하기 때문이다. 논문의 한계점으로는 현재 구현이 heat‑kernel(확산)과 wave‑kernel(파동) 등 비교적 단순한 Green’s function에 국한된다는 점이다. 비선형 반응, 다중 물리 커플링, 복합 경계 조건 등에서는 정확한 Green’s function을 구하거나 근사하는 것이 어려워 추가 연구가 필요하다. 또한, 물리 파라미터 θ_p를 사전에 알고 있어야 하는 전제가 있다. 실제 현장에서는 파라미터 추정이 동시에 이루어져야 할 경우가 많아, 이를 통합 학습하는 프레임워크가 요구된다. 향후 연구 방향으로는 (1) 자동 θ_p 학습을 위한 메타‑학습 혹은 베이지안 추정, (2) 비선형 PDE에 대한 커널 근사(예: 신경망 기반 Green’s function), (3) 그래프‑신경망과 결합해 복잡한 지오메트리와 비정형 토큰화 지원, (4) 멀티‑피직스(예: 열‑유체 결합) 문제에 대한 확장성을 검증하는 것이 제시된다. 전반적으로 PGT는 물리 정보를 어텐션 메커니즘에 직접 주입함으로써, 데이터가 희소한 상황에서도 높은 재구성 정확도와 물리 일관성을 동시에 달성할 수 있음을 입증한다.