노이즈에 강한 정규화 랜덤 푸리에 특징과 FEM 재구성을 통한 연산자 학습

초록

**
본 논문은 PDE 해석 연산자를 학습하기 위해, 다변량 Student‑t 분포에서 추출한 랜덤 푸리에 특징에 고주파 억제 Tikhonov 정규화를 결합한 정규화 랜덤 푸리에 특징(RRFF) 방법과, 유한 요소(FEM) 기반 재구성 맵을 결합한 RRFF‑FEM 프레임워크를 제안한다. 특징 수 N이 샘플 수 m에 대해 N≈m log m이면 랜덤 특징 행렬이 고조건수임을 고확률로 보이며, 이를 통해 추정 및 일반화 오류 경계가 도출된다. 다양한 PDE 베치마크(대류, Burgers, Darcy, Helmholtz, Navier‑Stokes, 구조역학)에서 노이즈에 대한 강인성을 확인하고, 기존 무정규화 RFF 대비 학습 시간 감소와 테스트 오차 감소를 입증한다.

**

상세 분석

**
본 연구는 연산자 학습을 위한 커널 기반 접근법의 계산 복잡도와 노이즈 민감도라는 두 가지 근본적인 한계를 동시에 해결하고자 한다. 첫 번째 핵심 아이디어는 랜덤 푸리에 특징(Random Fourier Features, RFF)을 단순히 무작위로 샘플링하는 것이 아니라, 다변량 Student’s t 분포(특히 자유도 ν에 따라 Gaussian에서 Cauchy까지 연속적으로 변함)를 사용해 특징 가중치를 생성한다는 점이다. Student’s t 분포는 꼬리가 두꺼워 고주파 성분을 자연스럽게 억제하면서도 충분한 표현력을 유지한다.

두 번째 핵심은 고주파 억제 Tikhonov 정규화이다. 최적화 문제 (식 3)에서 정규화 항 (\alpha\sum_{k=1}^{N}|\omega_k|_p^2|x_k|^2)는 큰 (|\omega_k|)를 갖는 고주파 특징에 대해 큰 페널티를 부여한다. 이는 노이즈가 주로 고주파 영역에 존재한다는 물리적 가정과 일치하며, 정규화 파라미터 (\alpha)를 통해 노이즈 수준에 따라 유연하게 조절할 수 있다.

이론적 기여는 랜덤 특징 행렬 (A\in\mathbb{C}^{M\times N})의 극값에 대한 고확률 경계 증명에 있다. 저자들은 기존의 Gaussian 기반 결과를 일반화하여, Student’s t 분포를 포함한 넓은 클래스의 분포에 대해 최소 특잇값과 최대 특잇값이 (\Theta(\sqrt{M})) 수준으로 집중함을 보였다. 특히, 특징 수 (N)가 훈련 샘플 수 (m)에 대해 (N = \mathcal{O}(m\log m))이면 조건수가 상수 수준으로 유지되어, 역문제의 안정성이 보장된다. 이는 기존 RFF가 노이즈에 민감해 과적합 위험이 있었던 점을 극복한다.

알고리즘적 측면에서는, 정규화된 최소제곱 해를 직접 구함으로써 전통적인 최소노름 보간이 아닌, 정규화된 해를 사용한다. 이는 선형 시스템을 풀 때 일반적인 정규화된 리지 회귀와 동일한 형태이며, 행렬 (A)가 잘 조건화되면 고속 수치 해법(예: Conjugate Gradient)으로도 효율적으로 해결 가능하다.

또한, 연산자 학습 파이프라인에 FEM 기반 재구성 맵을 도입했다. 입력/출력 함수들을 각각 (R_U)와 (R_V)를 통해 Lagrange 유한 요소 공간에 보간함으로써, 임의의 격자와 복잡한 도메인에서도 연산자를 적용할 수 있다. FEM 재구성은 특히 비구조적 메쉬나 경계 조건이 복잡한 물리 문제에서 강점이 있다.

실험에서는 6가지 PDE 베치마크를 선정하고, 각 문제에 대해 다양한 노이즈 레벨((\sigma) ranging from (10^{-4}) to (10^{-1}))을 추가하였다. 결과는 다음과 같다. (1) RRFF‑FEM은 동일한 특징 수(N)와 동일한 학습 시간 하에서 무정규화 RFF‑FEM보다 평균 30 %50 % 낮은 L2 테스트 오차를 기록했다. (2) 특징 수를 늘려도 조건수가 급격히 악화되지 않아, (N)를 2배4배 확대해도 학습 시간 증가가 로그 수준에 머물렀다. (3) 커널 기반 연산자 학습(Kernel‑OP)과 최신 신경 연산자(DeepONet, FNO)와 비교했을 때, 정확도는 거의 동등하거나 약간 뒤처졌지만, GPU 없이 CPU만으로도 2~5배 빠른 학습이 가능했다.

마지막으로, 저자들은 정규화 파라미터 (\alpha)와 자유도 (\nu)의 선택 가이드라인을 제시한다. (\nu)가 작을수록(꼬리가 두꺼울수록) 고주파 억제 효과가 강해져 높은 노이즈 상황에서 유리하고, (\alpha)는 노이즈 분산 (\sigma^2)에 비례하도록 설정하면 경험적으로 최적 성능을 얻는다.

요약하면, 이 논문은 랜덤 특징 기반 연산자 학습에 정규화와 FEM 재구성을 결합함으로써, 계산 효율성, 이론적 안정성, 그리고 실용적인 노이즈 강인성을 동시에 달성한 새로운 프레임워크를 제시한다.

**