딥러닝 기반 하이브리드 PDE 솔버의 신뢰성: 학습 패러다임과 업데이트 전략의 결정적 역할

초록

본 논문은 딥러닝‑기반 하이브리드 반복 방법(DL‑HIM)의 수렴 정체 현상을 분석하고, 학습 목표와 업데이트 메커니즘이 물리적 잔차 감소에 미치는 영향을 실험적으로 입증한다. 특히 DeepONet 기반 HINTS와 FFT 기반 FNS 두 모델을 대상으로 정적·동적 학습 방식, 잔차 기반·오차 기반 손실, 그리고 Anderson 가속화의 변형인 물리‑인식 Anderson 가속(PA‑AA)을 비교한다. 결과는 물리‑인식 손실과 PA‑AA가 false fixed point를 탈피하고 적은 반복 횟수로 높은 정확도를 달성함을 보여준다.

상세 분석

DL‑HIM은 전통적인 전처리(예: Jacobi, Gauss‑Seidel)와 신경 연산자(Nθ)를 교대로 적용해 선형 시스템 Au = f의 해를 구한다. 이때 전통 전처리는 고주파 오차를 빠르게 감쇠시키는 반면, 신경 연산자는 저주파 성분을 선호하는 스펙트럴 바이어스를 가진다. 이러한 상보적 특성은 이론적으로 수렴 속도를 크게 높일 수 있지만, 실제 구현에서는 “false fixed point”라 불리는 현상이 빈번히 발생한다. 즉, Gθ(u(k)) ≈ u(k) 가 되면서 업데이트 δ(k) ≈ 0이 되지만 물리적 잔차 r(k)=f‑Au(k) 가 여전히 크게 남아 있다.

논문은 이를 두 가지 관점에서 설명한다. 첫째, 오류 전파 연산자 E와 잔차 전파 연산자 R이 비선형 신경 연산자에 의해 서로 다른 스펙트럼을 갖게 되면서, 전통적인 수렴 분석(스펙트럴 반경 < 1)으로는 설명이 불가능해진다. 둘째, 학습 단계에서 사용되는 손실 함수가 실제 반복 과정에서 마주치는 잔차 분포와 불일치하면, 신경 연산자는 중요한 저주파 모드에 대한 보정을 학습하지 못한다.

실험에서는 정적 학습(오프라인 데이터셋에 대한 단일 스텝 학습)과 동적 학습(전체 DL‑HIM 사이클을 언롤링하여 K‑step 손실 최소화)을 비교한다. DeepONet 기반 HINTS는 잔차 기반 ℓ₂ 손실이 가장 효과적이며, 이는 신경 연산자가 직접 PDE 잔차를 최소화하도록 유도한다. 반면, FFT 기반 FNS는 ℓ₁ 기반 오류 손실이 고주파 성분을 억제하면서도 전체 수렴을 촉진한다는 점을 발견한다.

또한, 기존 Anderson 가속(AA)은 업데이트 차이 ‖u(k+1)‑u(k)‖을 최소화하도록 설계돼 비선형 신경 연산자에 적용하면 false fixed point에 머무를 위험이 있다. 이를 해결하기 위해 물리‑인식 Anderson 가속(PA‑AA)을 제안한다. PA‑AA는 최소화 대상이 물리적 잔차 ‖f‑Au(k)‖이며, 이를 위해 가중치 행렬을 잔차 공간에 맞게 재구성한다. 실험 결과, PA‑AA는 동일한 초기 조건에서 평균 40 % 적은 반복 횟수로 잔차를 10⁻⁸ 이하로 감소시켰으며, 기존 AA는 종종 수렴이 멈추거나 진동을 보였다.

결론적으로, DL‑HIM의 성공은 신경 연산자의 아키텍처보다 학습 목표와 업데이트 전략에 크게 좌우된다. 물리적 손실을 직접 반영하고, 잔차 기반 가속기를 사용하면 false fixed point 문제를 회피하고, 실제 과학·공학 시뮬레이션에 적용 가능한 신뢰성을 확보할 수 있다.