신경망 HSS: 계층적 반분리 구조로 구현한 데이터 효율적 PDE 솔버

본 논문은 최근 딥러닝 기반 PDE 솔버가 데이터와 연산 비용 면에서 겪는 한계를 극복하고자, 타원형 PDE의 해 연산자를 구성하는 그린 함수가 계층적 반분리(Hierarchical Semi‑Separable, HSS) 구조를 가진다는 수학적 사실에 착안한다. HSS는 클러스터 트리를 이용해 행렬을 여러 레벨로 분할하고, 각 레벨에서 대각선 외부 블록을 저‑랭크 행렬(U Vᵀ)로 근사한다. 특히, 중첩된 기저(U, V)를 재사용함으로써 파라미터 중복을 최소화하고, 행렬‑벡터 곱을 O(r · d · log d) 시간에 수행할 수 있다. 이러한 특성은 기존 HODLR 구조보다 더 압축적이며, 전역적인 연산자 근사에 적합하다. Neural‑HSS는 이 HSS 구조를 신경망 레이어에 직접 구현한다. 1‑D HSS 레이어는 HSS 행렬에 선형 변환을 적용하고, 그 뒤에 LeakyReLU(α) 활성화를 둔다. α는 학습 가능한 파라미터로, 선형 PDE에서는 α→1이 되어 레이어가 정확히 선형 연산자를 재현한다(정리 2.3). 비선형 PDE에서는 α가 1에서 벗어나 비선형성을 포착한다. 다차원 확장은 각 모드별 1‑D HSS 레이어를 외적(CP) 형태로 결합해 고차원 텐서 연산자를 구성한다. 이때 파라미터 수는 O(r_out · m · d)이며, 차원이 커질수록 상대적 효율이 향상된다. 이론적 기여는 크게 세 가지이다. 첫째, 보편적 근사성(Universal Approximation Property)을 증명하여, 충분히 깊은 HSS 레이어 스택이면 임의의 연산자를 근사할 수 있음을 보인다. 둘째, 데이터 효율성(Data‑Efficiency) 정리를 제시한다. 타원형 PDE의 경우, HSS 구조가 정확히 해 연산자를 표현하므로, 경험적 손실 최소화 문제의 전역 최소점이 실제 연산자를 정확히 복원한다. 필요한 훈련 샘플 수는 문제의 내재 차원(예: 3‑D 공간)만에 의존한다. 셋째, 정규화된 컨볼루션 커널이 HSS 형태로 근사 가능함을 보이는 정리(2.2)를 통해, 기존 Fourier Neural Operator(FNO)와 같은 전역 컨볼루션 레이어와의 연결성을 제시한다. 즉, HSS 레이어는 FNO의 푸리에 기반 전역 상호작용을 저‑랭크 구조로 압축한 형태라 볼 수 있다. 실험에서는 세 가지 주요 베치마크를 수행한다. (1) 3‑D Poisson 방정식을 2 M 격자(64³)에서 0.1 % 수준의 훈련 샘플(≈2 k)만으로 학습했을 때, Neural‑HSS는 파라미터 1.2 M(≈FNO 3 M)으로 L2 오차 1.8e‑3을 달성했으며, FNO와 ResNet은 각각 3 M·5 M 파라미터와 2.5e‑3·3.1e‑3 오차를 보였다. (2) 전자기 분야의 정적 맥스웰 방정식, (3) 비압축성 Navier‑Stokes와 반응‑확산 시스템을 포함한 비선형 PDE에서도, Neural‑HSS는 동일하거나 더 적은 파라미터로 경쟁 모델 대비 10‑20 % 빠른 수렴과 유사한 테스트 오류를 기록했다. 특히 고차원(4‑D 이상) 실험에서 파라미터·메모리 효율이 두드러졌다. 추가적으로, 논문은 HSS 레이어와 기존 구조(Convolution, Graph Neural Networks, Transformers)의 관계를 정리하고, HSS 레이어가 “local‑global” 혼합 표현을 자연스럽게 제공함을 강조한다. 로컬 상호작용은 완전 차수 블록(Dτ)으로, 원거리 상호작용은 저‑랭크 U Vᵀ로 모델링되어, 물리적 PDE 특성(근거리 주도, 원거리 약화)과 일치한다. 결론적으로, Neural‑HSS는 수치 해석에서 수십 년간 활용된 HSS 행렬 이론을 딥러닝에 성공적으로 통합함으로써, 파라미터 절감, 데이터 절감, 그리고 다양한 물리 현상에 대한 일반화 능력을 동시에 달성한 새로운 연산자 학습 프레임워크를 제시한다. 향후 연구는 비정형 메쉬에 대한 HSS 트리 설계, 동적(시간‑진화) PDE에 대한 순환형 HSS 구조, 그리고 물리 보강 학습과의 결합을 통해 더욱 폭넓은 적용을 기대한다.