DeepOSets 기반 인컨텍스트 다중 연산자 학습

초록

본 논문은 다중 연산자 학습을 위한 수학적 정의를 제시하고, DeepSets와 DeepONet을 결합한 DeepOSets 구조를 변형하여 인컨텍스트 학습에 적용한다. 제안된 모델은 연산자 집합을 균일하게 근사할 수 있음을 정리(정리 5.1)로 증명하고, 포아송·반응‑확산 방정식의 정방·역문제에 대해 몇 분 안에 학습이 수렴하는 실험 결과를 보여준다.

상세 분석

이 논문은 기존 단일 연산자 학습(DeepONet, Fourier Neural Operator 등)이 갖는 “하나의 연산자를 근사한다”는 한계를 명확히 인식하고, 다중 연산자 학습을 수학적으로 정의한다. 저자들은 연산자 공간 (O:={G:V\to Y}) 위에 컴팩트 부분집합 (K\subset O)를 두고, 이를 “다중 연산자 집합”이라 명명한다. 이때 인컨텍스트 학습은 프롬프트에 ((u_i,G(u_i))) 쌍을 임의의 개수 (m)만큼 제공함으로써 원하는 연산자 (G\in K)를 식별하도록 설계된다. 핵심은 프롬프트 예시가 입력 함수 공간 (V)를 ((\delta,C))-이산화(δ‑net) 형태로 충분히 커버해야 한다는 가정이다. 정의 3.3은 이 조건 하에 “모든 (G\in K)에 대해 임의의 정확도 (\epsilon)를 만족하는 신경망 (K_\epsilon)가 존재한다”는 보편 근사성을 공식화한다.

구현 측면에서 저자들은 DeepSets의 집합 인코더와 DeepONet의 브랜치·트렁크 구조를 결합한 DeepOSets를 제안한다. DeepSets 인코더는 각 예시 ((u_i,G(u_i)))를 공유 MLP (\Phi)로 임베딩하고, 평균·최대·최소 등 순열 불변 풀링 연산으로 집합 표현 (h)를 만든다. 이 (h)는 DeepONet 브랜치에 연결되고, 쿼리 함수 (u_q)와 평가 좌표 (x_q)는 각각 브랜치와 트렁크에 입력된다. 이렇게 하면 프롬프트 길이에 대해 선형 복잡도((O(m)))를 유지하면서도 순열 불변성을 확보한다는 장점이 있다.

이론적 기여는 정리 5.1에서 제시된다. 저자들은 DeepOSets가 연산자 집합 (K)의 임의의 원소를 (\epsilon) 수준으로 균일하게 근사할 수 있음을 보이며, 이는 기존 DeepONet이 단일 연산자에 대해서만 보편 근사성을 갖는 것과는 차별적인 결과다. 증명은 (i) DeepSets가 연속적인 집합 함수 (h)를 임의의 정밀도로 근사할 수 있음, (ii) DeepONet이 고정된 브랜치·트렁크 구조로 연산자 (G)를 근사함을 이용한다.

실험에서는 1‑D 포아송 방정식과 2‑D 반응‑확산 방정식의 정방·역문제를 대상으로, 다양한 초기·경계 조건과 계수 함수를 포함하는 연산자 집합을 학습시켰다. 프롬프트에 포함된 예시 수가 학습 시보다 적어도 2배 이상 늘어나도 모델은 높은 일반화 성능을 유지했으며, 새로운 PDE 파라미터와 경계 조건에 대해서도 평균 절대 오차가 (10^{-3}) 이하로 수렴했다. 특히, GPU 한 대(consumer‑grade)에서 전체 학습이 5~8분 내에 완료된 점은 Transformer 기반 ICON·PROSE와 비교해 10배 이상 빠른 학습 속도를 보여준다.

한계점으로는 (1) 프롬프트 예시가 충분히 균일하게 샘플링된다는 가정이 실제 데이터에서 충족되기 어려울 수 있다, (2) 현재 구현은 고정된 격자 (x)와 (y)에 의존하므로 비정형 메쉬나 고차원 공간에 대한 확장은 추가 연구가 필요하다. 그럼에도 불구하고, DeepOSets는 구조적 단순성, 이론적 보편성, 그리고 실용적인 학습 효율성을 동시에 만족시키는 강력한 다중 연산자 학습 프레임워크로 평가된다.