깊은 하이브리드 모델 학습을 위한 샤프니스 인식 최소화

초록

본 논문은 과학적 모델과 딥러닝을 결합한 하이브리드 모델에서, 머신러닝 부분이 과도하게 유연해 과학적 모델이 무시되는 문제를 해결하고자 손실 최소점의 평탄성을 활용한다. Sharpness‑Aware Minimization(SAM)을 변형해 머신러닝 파라미터에만 적용함으로써 손실이 평탄한 영역을 찾고, 과학적 파라미터의 식별성을 높인다. 다양한 아키텍처와 데이터셋에 대한 실험에서 제안 방법이 기존 정규화 기법보다 일관된 성능 향상을 보였다.

상세 분석

논문은 하이브리드 모델을 y = gϕ(x, fθ(x)) 형태로 정의하고, 과학적 모델 fθ는 구조적 식별성이 존재하지만 관측되지 않는 잠재 변수 z = fθ(x) 때문에 학습 과정에서 무시될 위험이 있음을 지적한다. 기존 접근법은 gϕ의 복잡성을 직접 제어하는 정규화(예: ‖gϕ‖)를 설계해야 했지만, 모델 구조가 복합적일 경우 적절한 정규화식 도출이 어려웠다. 저자는 손실 평탄성(flatness)이 모델 단순성과 식별성에 기여한다는 이론적 배경을 바탕으로, SAM을 활용해 파라미터 공간의 특정 반경 ρ 내에서 최악의 손실을 최소화하는 미니맥스 문제를 해결한다. 특히, SAM의 perturbation을 머신러닝 파라미터 ϕ에만 적용하고, 과학적 파라미터 θ는 평탄성을 강제하지 않음으로써 θ가 실제 데이터에 민감하게 변하도록 유도한다. 이는 KL 발산식에서 θ와 ϕ 사이의 상호 정보(mutual information)를 간접적으로 감소시켜, θ가 보다 명확히 식별될 수 있는 환경을 만든다. 실험에서는 기본 SAM, Adaptive SAM, Fisher SAM 등 다양한 변형을 적용했으며, 모두 기존 L2 정규화나 파라미터 제약 방식보다 손실 평탄성을 확보하면서 과학적 파라미터의 추정 정확도를 높였다. 결과적으로 제안 방법은 모델 아키텍처에 독립적이며, 과학적 모델이 복잡한 동적 시스템(예: 뉴럴 ODE)에도 적용 가능함을 보여준다.