푸리에 신경 연산자와 효과적 장 이론

초록

본 논문은 푸리에 신경 연산자(FNO)를 무한 차원 함수 공간에서 효과적 장 이론(EFT)으로 분석한다. 커널과 4점 정점의 재귀 관계를 도출하고, 분석적 활성화, 스케일 불변 활성화, 잔차 연결 세 가지 설정에서 주파수 전이와 신호 전파 안정성을 규명한다. 넓은 네트워크에 대한 임계 조건을 제시하고, 이를 기반으로 초기화 캘리브레이션을 설계해 Burgers 방정제 benchmark에서 학습 안정성 및 일반화 성능을 크게 향상시킨다.

상세 분석

본 연구는 푸리에 신경 연산자(FNO)를 무한 차원의 함수 공간 위에서 확률적 초기화와 SGD와 같은 잡음원을 포함한 확률 과정으로 모델링하고, 이를 효과적 장 이론(EFT) 프레임워크에 매핑한다. 핵심 관측량은 두 점 커널 K^{(l)}(f,f′)와 네 점 정점 V^{(l)}(f_1,f_2,f_3,f_4)이며, 무한 폭 한계에서 전층의 전활성은 가우시안 프로세스로 수렴하고 정점은 O(1/n) 스케일로 억제된다. 이로써 커널은 단일 주파수 대각 형태를 유지하며, 레이어별 재귀식 K^{(l+1)}(f)=χ_{∥}K^{(l)}(f)+χ_{⊥}∑_{f′}K^{(l)}(f′)가 도출된다.

비선형 활성화 σ는 푸리에 도메인에서 컨볼루션 급수를 생성한다는 사실을 이용해, σ(g)̂(f)=∑_{m≥1}σ_m (ĝ∗…∗ĝ)(f) 형태로 전개한다. 따라서 활성화는 차단된 고주파 모드까지 에너지를 전이시켜, 스펙트럼 트렁케이션이 원래 차단하던 주파수 성분을 비선형적으로 재생성한다. 분석적 활성화(예: tanh, 다항식)에서는 m‑차 항이 폭 n^{-(m-1)} 로 억제돼 폭이 클수록 고주파 전이가 미미해진다. 반면 ReLU와 같은 스케일 불변 활성화는 σ_m이 m에 독립적이므로, 고주파 전이가 강하게 발생하고 커널의 스펙트럼 지원이 넓어져 깊은 층에서도 신호가 소멸하지 않는다.

잔차 연결을 도입하면 Z^{(l+1)}=R^{(l+1)}σ(Z^{(l)})+γZ^{(l)} 형태가 되며, γ가 1에 가까울수록 트렁케이션 이후 손실된 고주파 에너지를 보존한다. EFT 분석에 따르면, γ가 임계값 γ_c=χ_{∥}^{-1}−1 이하일 때 신호 전파가 안정적이며, 이를 초과하면 폭발적 성장 또는 소멸이 발생한다.

폭이 넓은 네트워크에 대해 저자는 가중치 초기화 분포의 분산 σ_w^2와 편향 분산 σ_b^2가 χ_{∥}=1, χ_{⊥}=1을 만족하도록 설계하는 임계 조건을 제시한다. 이 조건은 커널 변동률이 층 깊이에 따라 일정하게 유지됨을 보장한다. 실험적으로는 초기화 후 측정된 커널 변동 비율이 이론적 예측과 1σ 범위 내에서 일치함을 확인하였다.

마지막으로, 위 임계 조건을 이용한 “임계성 매칭 초기화(calibration)” 알고리즘을 제안한다. 초기화 단계에서 σ_w와 σ_b를 자동으로 조정해 χ_{∥}=χ_{⊥}=1을 만족하도록 하고, 이를 Burgers 방정제 PDEBench 데이터셋에 적용한 결과, 학습 손실이 빠르게 감소하고 테스트 오류가 약 15 % 개선되었다. 이는 기존 베이스라인 대비 최적화 안정성, 수렴 속도, 일반화 성능이 모두 향상된 것을 의미한다.

전반적으로 본 논문은 FNO의 비선형 주파수 전이 메커니즘을 정량화하고, 폭넓은 네트워크에서 안정적인 신호 전파를 보장하는 초기화 기준을 제공함으로써, 이론적 통찰과 실용적 설계 지침을 동시에 제시한다.