적응형 인접 신경망을 이용한 특이점 포함 파라메트릭 최적 제어 문제 해결

초록

본 논문은 파라메트릭 PDE‑제한 최적 제어 문제를 해결하기 위해, 기존 AONN(Adjoint‑Oriented Neural Network) 구조에 딥 적응형 샘플링(DAS²)을 결합한 적응형 AONN을 제안한다. 잔차 기반 확률분포를 이용해 훈련 샘플을 동적으로 업데이트함으로써 저정규성(특이점) 해에 대한 학습 효율과 일반화 성능을 크게 향상시킨다. 수치 실험을 통해 특이점이 존재하는 사례에서 제안 방법이 기존 AONN 대비 높은 정확도와 빠른 수렴을 보임을 확인한다.

상세 분석

본 연구는 파라메트릭 최적 제어 문제를 풀기 위한 두 가지 핵심 아이디어를 결합한다. 첫 번째는 AONN 프레임워크로, 상태 y, 제어 u, 그리고 라그랑주 승수 p를 각각 독립적인 신경망으로 근사함으로써 KKT 시스템을 전역적으로 해결한다. AONN은 기존 DAL(Direct‑Adjoint Looping) 방식과 달리 페널티 없이 경계조건을 만족하도록 설계된 두 개의 보조 네트워크(내부 I와 경계 B)를 활용한다. 이 구조는 복잡한 기하학적 도메인에서도 안정적인 학습을 가능하게 한다.

두 번째 핵심은 DAS²(Deep Adaptive Sampling for surrogate modeling without labeled data)이다. 여기서는 현재 네트워크가 만든 잔차 r(x,ξ;θ)²를 확률밀도함수의 근사로 사용하고, 이를 기반으로 새로운 collocation point를 샘플링한다. 즉, 잔차가 큰 영역에 더 많은 샘플을 집중시켜 통계적 오차를 최소화한다. 이 과정은 “샘플‑네트워크‑샘플” 순환으로, AONN이 생성한 최신 해가 DAS²의 목표 분포 추정을 개선하고, DAS²가 제공하는 고품질 샘플이 AONN의 학습을 다시 강화하는 상호 보완적 사이클을 형성한다.

논문은 이 두 사이클을 하나의 알고리즘으로 통합한다. 초기에는 무작위 샘플 집합 S₀를 사용해 AONN을 훈련하고, 이후 각 반복 단계에서 (1) 현재 AONN 파라미터 θ를 고정하고 잔차 기반 확률분포를 추정해 새로운 샘플 Sᵢ를 생성, (2) Sᵢ를 이용해 AONN을 재학습한다. 학습 과정에서 제어 변수 u에 대한 투사 연산 P_Uad(ξ)와 단계 크기 c를 조정하는 변분적 업데이트가 포함되어, 제어 제약조건을 정확히 만족한다.

특히 저정규성(특이점) 문제에 대해 기존 AONN은 무작위 샘플링에 의존해 잔차가 크게 집중되는 영역을 놓치기 쉽다. DAS²는 잔차가 급격히 변하는 근처를 자동으로 탐지해 샘플 밀도를 높이므로, 특이점 주변의 미세 구조를 효과적으로 학습한다. 실험 결과는 L₂ 오차와 최적 비용 함수 값에서 기존 AONN 대비 30 % 이상 개선을 보여, 적응형 샘플링이 특이점 처리에 결정적임을 입증한다.

또한, 제안 방법은 라벨이 없는 데이터만으로도 샘플링 네트워크를 훈련할 수 있다는 점에서 비용 효율성이 크다. 전통적인 RBM(Reduced Basis Method)이나 고정 샘플 기반 딥러닝 대비, 고차원 파라미터 공간에서도 샘플 수를 크게 늘리지 않고도 정확도를 유지한다. 다만, 잔차 기반 확률분포 추정 단계에서 추가적인 최적화(예: 커널 밀도 추정 또는 변분 오토인코더)가 필요하며, 이는 전체 계산 비용에 일정 부분을 차지한다.

요약하면, 본 논문은 AONN의 구조적 장점(다중 네트워크, 페널티‑프리 경계조건 처리)과 DAS²의 동적 샘플링 효율성을 결합해, 파라메트릭 PDE‑제한 최적 제어 문제, 특히 특이점이 존재하는 경우에 대한 강력하고 확장 가능한 솔루션을 제시한다.