데이터 기반 PDE·딜레이 PDE 추정의 하이퍼파라미터 자동 최적화

초록

본 논문은 베이지안 최적화와 베이지안 정보 기준(BIC)을 활용해 PDE 및 딜레이‑PDE 모델을 데이터로부터 추정할 때 필요한 하이퍼파라미터를 자동으로 탐색한다. 시간 적분을 결합한 기존의 희소 회귀 프레임워크에 하이퍼파라미터 튜닝을 통합함으로써 모델의 강인성과 예측력을 크게 향상시켰으며, Allen‑Cahn, Cahn‑Hilliard, 다양한 반응‑확산 시스템 등 합성 벤치마크에서 우수한 성능을 보였다.

상세 분석

본 연구는 PDE와 딜레이‑PDE를 데이터 기반으로 식별하는 문제를 “희소 회귀 + 시간 적분 + 하이퍼파라미터 자동 튜닝”이라는 삼중 구조로 재구성한다. 먼저, 물리량 u(x,t) 의 시간 미분을 직접 계산하고, 사전 정의된 라이브러리 Θ(u) (다항식, 비선형 함수, 공간 미분, 딜레이 항 등)와 선형 결합 형태 σ·Θ(u) 로 모델을 가정한다. 전통적인 최소제곱법은 비희소 해를 초래하므로, 순차 임계값 최소제곱(STLS) 기법을 적용해 계수 σ 중 절댓값이 임계값 h 보다 작은 항을 0으로 강제한다. 여기서 핵심은 h 값 자체가 모델 복잡도와 과적합을 조절하는 하이퍼파라미터라는 점이다.

논문은 기존 방법과 달리 각 변수별 혹은 항군별(예: 딜레이 항)로 서로 다른 h_i 를 허용하고, 이를 베이지안 최적화 프레임워크인 Hyperopt의 TPE(tree‑structured Parzen estimator)로 자동 탐색한다. 목적 함수는 BIC = s ln N_t − 2 ln ℒ̂ 로 정의되며, 여기서 s 는 비제로 계수 수, N_t 는 시간 샘플 수, ℒ̂ 는 시간 적분을 통해 얻은 모델 예측 û 와 실제 데이터 u 의 L2 차이(즉, 식(6)에서 정의된 통합 오차)이다. BIC는 모델 적합도와 복잡도 사이의 균형을 정량화하므로, 최적화 과정에서 자연스럽게 희소성을 유지하면서도 예측 정확도를 높인다.

시간 적분 단계는 SciPy의 고차 Runge‑Kutta(8차)와, 필요 시 안정성을 확보하기 위한 트라페zoidal 스킴을 병행한다. 이는 후보 PDE가 수치적으로 불안정할 경우에도 최적화가 중단되지 않도록 설계된 안전장치다. 또한, 딜레이 τ 와 같은 물리적 하이퍼파라미터도 탐색 변수에 포함시켜, 딜레이‑PDE 형태를 자동으로 식별한다.

실험에서는 (1) 복소 Ginzburg‑Landau 방정식(샘플링 주파수 변화), (2) Cahn‑Hilliard 방정식(질량 보존), (3) FitzHugh‑Nagumo 및 혼돈 영역의 복소 Ginzburg‑Landau, (4) Fisher‑KPP에 시간 딜레이를 추가한 경우 등 네 가지 합성 시나리오를 설정했다. 모든 사례에서 제안 방법은 기존 PySINDy‑PDE 구현보다 낮은 샘플링 비율에서도 정확한 구조 복원과 파라미터 추정을 달성했으며, 특히 딜레이 항이 포함된 경우에도 BIC 기반 탐색이 적절한 τ 값을 찾아내어 모델의 예측력을 크게 향상시켰다.

핵심 기여는 (i) 하이퍼파라미터를 모델 자체와 동시 최적화함으로써 “모델‑하이퍼파라미터 통합 학습”을 구현, (ii) BIC를 목적 함수로 채택해 과적합을 방지하면서도 통합 오차를 최소화, (iii) 시간 적분을 포함한 파이프라인을 구축해 실제 시뮬레이션과 동일한 평가 기준을 제공한다는 점이다. 한계로는 (a) 고차원 라이브러리에서 탐색 공간이 급격히 확대돼 최적화 비용이 증가할 수 있음, (b) 실제 실험 데이터에 대한 노이즈와 불완전한 관측에 대한 강건성 검증이 부족하다는 점이다. 향후 연구에서는 적응형 라이브러리 축소, 멀티‑피처 노이즈 모델링, 그리고 실험 데이터 적용을 통해 실용성을 높일 여지가 있다.