DeepONet 오류는 부품별 합: 브랜치·트렁크와 모드 오류 분해

본 논문은 연산 과학에서 미분 방정식의 해 연산자를 학습하는 Deep Operator Networks(DeepONet)의 실용적 한계를 체계적으로 분석한다. 먼저, DeepONet은 트렁크 네트워크가 좌표 x에 대한 N개의 기저 함수를 출력하고, 브랜치 네트워크가 입력 함수 p(예: 초기 조건)의 샘플링값 ˆp에 대한 N개의 계수를 출력하는 두 서브 네트워크로 구성된다. 최종 출력은 이 두 출력의 내적으로 표현되며, 이는 행렬 형태 ˜A = T Bᵀ 로 정리될 수 있다. 여기서 T∈ℝ^{n×N}는 트렁크 기저 행렬, B∈ℝ^{m×N}는 브랜치 계수 행렬이며, A∈ℝ^{n×m}는 정확한 해 행렬이다. 1️⃣ **오류 분해**: 전체 Frobenius 오차 ε² = ‖A‑˜A‖_F² 를 트렁크 오차와 브랜치 오차로 분리한다. 실험적으로 내부 차원 N을 충분히 크게 하면 트렁크 오차는 거의 사라지고, 전체 오차는 브랜치에서 발생한다는 것을 확인하였다. 이는 트렁크가 충분히 풍부한 표현력을 가질 경우, 학습 과제가 입력 함수와 출력 함수 사이의 복잡한 매핑을 담당하는 브랜치에만 집중된다는 의미이다. 2️⃣ **트렁크 대체 실험**: 트렁크 네트워크를 고정된 기저(예: 훈련 데이터 행렬 A의 좌측 특이벡터 φ_k)로 교체한 변형 DeepONet을 설계하였다. 이 경우 트렁크는 데이터의 주성분을 그대로 사용하므로, 브랜치가 학습해야 할 목표는 각 모드에 대한 계수 b_k(p)와 특잇값 σ_k의 곱이다. 실험 결과, 트렁크를 고정해도 전체 성능 저하가 미미했으며, 오히려 브랜치 오류 분석이 용이해졌다. 3️⃣ **모드 손실 분석**: 브랜치 오류를 각 모드별 손실 L_k = ‖b_k‑v_k‖² (훈련) 및 ‖b_k‑w_k‖² (테스트) 로 분해하였다. 여기서 v_k와 w_k는 각각 훈련 및 테스트 입력 함수에 대한 최적 계수(특잇값 스케일링 포함)이다. 결과는 다음과 같다. - **스펙트럼 바이어스**: 브랜치 네트워크는 큰 특잇값(저주파) 모드에 대해 빠르게 수렴한다. - **중간 모드 주도**: 전체 손실은 가장 작은 특잇값이 아니라, 중간 규모 σ_k를 갖는 모드가 가장 크게 기여한다. 이는 특잇값 스케일링에 의해 작은 σ_k는 손실에 거의 영향을 주지 않지만, 큰 σ_k는 이미 충분히 학습된 상태이기 때문이다. - **모드 간 결합**: 표준 DeepONet에서 모든 모드가 동일한 브랜치 네트워크를 공유하면 파라미터 공유 효과가 나타나 작은 모드에 대한 일반화가 향상된다. 반면, 스택형 구조(모드별 별도 브랜치)에서는 각 모드가 독립적으로 최적화돼 파라미터 간 상호작용이 감소하고, 특히 중간·소규모 모드에서 과적합이 발생한다. 4️⃣ **옵티마이저 효과**: Adam 옵티마이저는 특잇값 스케일에 따른 그래디언트 불균형을 완화시켜 학습 안정성을 높인다. 이는 단순 GD보다 빠른 수렴과 더 균형 잡힌 모드 손실 분포를 제공한다. 5️⃣ **실험 설정**: 주요 실험은 KdV 방정식, 대류‑확산 방정식, Burgers 방정식 등 세 가지 비선형 PDE에 대해 수행되었다. 입력 함수는 저차원 파라미터화된 사인 급수 형태로 생성했으며, 훈련 데이터는 m개의 초기 조건과 n개의 공간 좌표의 텐서곱 형태로 구성하였다. 모든 실험은 동일한 MLP 기반 트렁크·브랜치 네트워크와 동일한 하이퍼파라미터(학습률, 배치 크기 등)로 진행되었으며, 결과는 평균 제곱 오차와 상대 오차로 보고하였다. 6️⃣ **결론 및 시사점**: 논문은 DeepONet의 오류가 주로 브랜치에 집중된다는 사실을 정량화하고, 트렁크를 고정된 고전적 기저로 교체해도 성능이 유지된다는 실용적 가이드를 제공한다. 또한, 브랜치 네트워크의 스펙트럼 바이어스와 중간 모드가 전체 오류를 주도한다는 새로운 통찰을 제시한다. 이러한 발견은 향후 DeepONet 설계 시 트렁크·브랜치 구조를 재검토하고, 모드별 파라미터 공유 및 적절한 옵티마이저 선택을 통해 일반화 성능을 크게 향상시킬 수 있음을 시사한다. 향후 연구는 비선형 기저, 다중 해상도 학습, 그리고 물리 기반 제약을 결합한 하이브리드 접근법을 탐색하는 방향으로 나아갈 수 있다.