부분 관측에서 신경 연산자를 학습하는 잠재 자기회귀 모델

초록

**
본 논문은 관측이 불완전한 과학 데이터에 대해 신경 연산자(NN Operator)를 효과적으로 학습하기 위한 최초의 체계적 프레임워크인 LANO(Latent Autoregressive Neural Operator)를 제안한다. 핵심 아이디어는 (1) 관측된 영역을 인위적으로 마스킹하여 인공적인 감독 신호를 생성하는 Mask‑to‑Predict(MPT) 학습 전략과, (2) 물리적 경계 조건을 우선으로 하여 잠재 공간에서 단계별로 정보를 전파하는 Physics‑Aware Latent Propagator(PhLP)를 결합한 자기회귀 방식이다. 또한 부분 관측 상황을 평가하기 위한 POBench‑PDE 벤치마크를 구축하고, 50 % 이하의 패치 결손률에서 기존 방법 대비 18 %‑69 %의 L2 오류 감소를 달성하였다.

**

상세 분석

**
본 연구는 부분 관측 데이터가 신경 연산자 학습에 미치는 두 가지 근본적 문제를 명확히 정의한다. 첫 번째는 ‘감독 격차(supervision gap)’로, 관측되지 않은 영역에 대한 라벨이 없기 때문에 물리적 상관관계를 충분히 학습하기 어렵다는 점이다. 두 번째는 ‘동적 공간 불일치(dynamic spatial mismatch)’로, 입력과 출력이 서로 다른 영역에 정의되며 매 샘플마다 관측 영역이 달라지는 상황을 의미한다. 이러한 문제를 해결하기 위해 저자들은 두 단계의 혁신을 도입한다.

1. Mask‑to‑Predict Training (MPT)

   • 기존 NLP·CV에서 영감을 받은 마스크 기반 사전학습과 달리, MPT는 이미 부분 관측된 입력에 추가적인 마스크를 적용한다. 이를 통해 모델은 “보이는” 영역을 이용해 “보이지 않는” 영역을 복원하도록 학습한다.
   • 마스크는 무작위 패치, 스트립, 혹은 구조적 결손 형태로 생성되며, 마스크된 입력과 원본 입력 사이에 일관성 정규화(consistency regularization)를 부과한다. 이는 모델이 마스크에 강인하게 만들고, 실제 결손 영역에 대한 일반화 능력을 향상시킨다.
   • MPT는 훈련 단계에서만 적용되며, 추론 시에는 실제 관측 마스크만 사용한다. 따라서 추가적인 라벨이 필요 없으며, 기존 데이터 파이프라인에 그대로 통합 가능하다.

2. Physics‑Aware Latent Propagator (PhLP)와 Boundary‑First Autoregression

   • LANO는 전체 공간을 한 번에 예측하는 대신, 잠재 공간(latent space)에서 단계별로 정보를 전파한다. 초기 토큰은 관측된 경계 영역에서 추출되며, 물리적 경계 조건을 그대로 반영한다.
   • PhLP는 Physics‑Cross‑Attention(PhCA) 메커니즘을 사용한다. 여기서 키와 값은 기존 피처 자체이며, 별도의 위치 인코딩이 필요 없도록 설계되었다. 마스크 정보 M은 어텐션 가중치에 직접 곱해져 관측된 영역만이 정보 전파에 기여하도록 제한한다.
   • 부분 컨볼루션(PConv) 연산을 통해 현재 마스크와 어텐션 맵을 업데이트하고, 이를 반복함으로써 “경계 → 내부” 순서로 잠재 토큰을 확장한다. 이 과정은 물리적 PDE의 전파 특성과 일치하여, 에너지 보존이나 흐름 연속성 같은 물리적 제약을 자연스럽게 만족한다.
   • 자기회귀 방식은 한 번에 전체 영역을 예측할 때 발생하는 블러링(blurring)과 비일관성을 크게 감소시킨다. 또한 잠재 공간에서 연산함으로써 메모리와 연산량을 크게 절감한다(특히 고해상도 2D/3D 문제에서 유리).

3. POBench‑PDE 벤치마크

   • 저자들은 세 가지 대표적인 PDE(예: Navier‑Stokes, 열전도, 대기 흐름)와 각각에 대한 다양한 결손 패턴(패치, 랜덤, 구조적)으로 구성된 6개의 데이터셋을 제공한다.
   • 각 데이터셋은 관측 마스크 비율을 10 %부터 75 %까지 변화시켜, 모델의 견고성을 다각도로 평가한다.

4. 실험 결과 및 비교

   • 기존 FNO, DeepONet, Geo‑FNO, LSM 등 최신 신경 연산자와 비교했을 때, LANO는 50 % 이하 결손률에서 평균 38 %(전체 평균 45 %)의 L2 오류 감소를 기록한다. 특히 75 % 결손 상황에서도 15 % 정도의 개선을 보이며, 완전 결손에 가까운 상황에서도 의미 있는 성능을 유지한다.
   • 실시간 기후 예측(2 m 기온) 실험에서는 기존 모델이 0.12 K 정도의 RMSE를 보인 반면, LANO는 0.07 K 수준으로 감소하였다. 이는 실제 운영 시스템에서 결손 센서 데이터를 보완하는 데 실질적인 가치를 제공한다.

5. 이론적 근거

   • 논문은 PDE 해를 반복적 업데이트 과정으로 모델링하고, Monte‑Carlo 기반 적분 연산자를 근사하는 기존 신경 연산자와 달리, PhLP가 물리적 경계 조건을 직접 어텐션 가중치에 반영함으로써 수치적 안정성을 확보한다는 점을 강조한다. 또한, 마스크‑투‑프레딕트 전략이 데이터의 스파스성에 대한 불변성을 학습하도록 하는 정규화 효과를 이론적으로 설명한다.

주요 기여

• 부분 관측 상황을 정식으로 정의하고, 두 가지 핵심 장애요소를 체계화하였다.
• MPT와 PhLP를 결합한 LANO 프레임워크를 제안하여, 관측 결손이 큰 실제 과학 문제에서도 높은 정확도를 달성하였다.
• POBench‑PDE라는 표준화된 벤치마크를 공개함으로써 향후 연구의 비교 기반을 제공한다.

**