신경 PDE 대리모델을 위한 직접 학습 캘리브레이션 인식 불확실성

초록

본 논문은 신경 PDE 대리모델에 대해 훈련 데이터와 별도의 정규화 데이터에 그래디언트를 라우팅함으로써 불확실성 파라미터를 직접 학습하는 “교차‑정규화”(XReg) 프레임워크를 제안한다. 예측 불확실성과 일반화 불확실성을 구분해 학습하고, Fourier Neural Operator에 적용해 관측 비율·학습 규모에 따라 캘리브레이션이 향상되고 오류가 큰 영역에 불확실성이 집중되는 것을 실증한다.

상세 분석

이 연구는 기존의 MC dropout, 딥 앙상블, 사후 캘리브레이션 등은 불확실성 수준을 사전에 고정하거나 별도 튜닝이 필요하다는 한계를 지적한다. 이를 극복하기 위해 저자는 두 개의 파라미터 집합—예측 노이즈 ψ와 일반화 노이즈 ρ—을 도입하고, 훈련 데이터(D_train)와 정규화 데이터(D_reg)를 명확히 분리한다. 훈련 단계에서는 백본 파라미터 θ와 예측 노이즈 ψ를 최대우도(MLE) 기반 손실 L_train에 대해 업데이트하고, 일반화 노이즈 ρ는 전혀 업데이트되지 않는다. 반면 정규화 단계에서는 현재 업데이트된 (θ, ψ)를 고정하고, D_reg에서 계산된 L_reg(예: 혼합 NLL 또는 순간‑일치 NLL)의 그래디언트만을 이용해 ρ를 조정한다. 이 “교차‑정규화” 절차는 일반화 불확실성이 실제 테스트‑트레인 불일치를 직접 반영하도록 만들며, 관측이 희박하거나 데이터가 부족한 레짐에서는 ρ가 자동으로 확대되고, 풍부한 관측이 존재할 때는 축소된다.

구현 측면에서 저자는 불확실성 삽입 위치를 세 가지로 확장한다. (1) 출력 헤드에 직접 σ_pred와 σ_gen을 파라미터화하는 방식, (2) 내부 특징 블록에 가우시안 곱셈 잡음을 주입해 레이어별로 ρ를 학습하는 방식, (3) 선택적 Fourier 모드에 잡음을 적용해 스펙트럼 수준에서 불확실성을 제어한다. 이러한 유연성은 베이지안 가중치 사후분포를 명시적으로 추정하지 않으면서도, 예측 불확실성(aleatoric)과 일반화 불확실성(epistemic)의 역할을 구분한다는 점에서 의미가 크다.

실험에서는 1‑D Fourier Neural Operator을 기본 모델로 삼고, APEBench 벤치마크에서 관측 비율(0.4~1.0)과 훈련 샘플 수를 다양하게 변형한 스위프를 수행한다. 결과는 세 가지 주요 지표—one‑step NLL, 혼합 Gaussian‑Mixture ECE, 그리고 공간적 불확실성‑오차 정합성—에서 기존 MC dropout(고정 p=0.1) 및 3‑멤버 딥 앙상블보다 우수함을 보여준다. 특히 관측이 30% 수준으로 낮을 때 캘리브레이션 오류(ECE)가 크게 감소하고, 불확실성 맵이 높은 오류 영역에 집중되는 현상이 뚜렷하다. 추가 실험으로 OTNO(Optimal Transport Neural Operator) 기반 3‑D 자동차 표면 압력 데이터에 적용했으며, 훈련 샘플 30개, 정규화 샘플 50개라는 극한 데이터 제한 상황에서도 예측 오차와 불확실성 맵이 시각적으로 일치함을 확인했다.

알고리즘적 복잡도는 정규화 업데이트 빈도 k_reg을 조절함으로써 제어 가능하며, k_reg=5일 때 전체 학습 비용은 약 1.2배 수준에 머문다. 이는 기존 XReg 논문에서 보고된 비용과 일치한다. 또한 일반화 노이즈 스케일이 레이어별로 비균등하게 성장하는 것을 관찰했는데, 이는 모델이 데이터‑특정 복잡성을 자동으로 할당한다는 증거다.

전체적으로 이 논문은 “불확실성 자체를 학습 목표로 만든다”는 새로운 패러다임을 제시한다. 기존 방법이 사후 캘리브레이션에 의존하거나 고정된 잡음 수준에 머물렀다면, XReg는 훈련‑정규화 데이터 흐름을 통해 불확실성 파라미터를 온라인으로 최적화한다. 이는 데이터‑제한·관측‑희박 환경에서 신경 PDE 대리모델을 실제 의사결정 파이프라인에 적용할 때, 신뢰할 수 있는 불확실성 추정치를 제공한다는 점에서 실용적 가치를 가진다.