하이퍼노 자동화·병렬 신경 연산자 연구 라이브러리

초록

HyperNOs는 PyTorch 기반의 신경 연산자(Neural Operator) 연구를 위한 자동화·병렬 라이브러리이다. Ray‑tune을 활용한 최신 하이퍼파라미터 최적화 알고리즘과 다중 GPU/CPU 클러스터에서의 병렬 실행을 지원하며, Fourier Neural Operator(FNO)와 Convolutional Neural Operator(CNO)를 포함한 다양한 아키텍처를 손쉽게 실험할 수 있다. 사용자는 파라미터 수 고정, 다중 데이터셋·다중 해상도 학습 등 실용적인 기능을 통해 재현 가능하고 효율적인 연구 파이프라인을 구축할 수 있다.

상세 분석

HyperNOs는 신경 연산자 분야에서 가장 큰 걸림돌 중 하나인 하이퍼파라미터 탐색 문제를 근본적으로 해결하려는 시도이다. 기존 연구에서는 DeepONet, GNO, FNO 등 다양한 아키텍처가 제안됐지만, 각 모델에 최적의 레이어 수, 채널 차원, 학습률, 배치 크기 등을 손수 조정해야 하는 부담이 있었다. HyperNOs는 이를 Ray‑tune의 BOHB, ASHA, CMA‑ES 등 최신 최적화 스케줄러와 결합하여, 수천 개의 후보 조합을 자동으로 탐색한다. 특히, “고정 파라미터 수” 옵션은 모델 용량을 일정하게 유지하면서 다른 하이퍼파라미터만 변동시키는 실험 설계가 가능하도록 해, 파라미터 효율성을 정량적으로 평가할 수 있게 한다.

병렬화 측면에서 HyperNOs는 Ray 클러스터를 이용해 트라이마다 별도의 워커를 할당하고, GPU 메모리 사용량을 자동으로 모니터링한다. 이를 통해 대규모 데이터셋(예: 1024×1024 해상도 이미지)이나 다중 물리 모델을 동시에 학습시키는 것이 현실화된다. 또한, 실험 메타데이터(시드, 설정 파일, 최종 모델 가중치)를 자동으로 로깅하고, 동일한 설정을 재현할 수 있는 스냅샷을 제공함으로써 과학적 재현성을 크게 향상시킨다.

아키텍처적으로는 FNO와 CNO를 기본 모듈로 제공한다. FNO는 푸리에 변환을 이용해 전역적인 상호작용을 효율적으로 모델링하고, CNO는 지역적인 컨볼루션 연산을 통해 고해상도 물리 현상에 강인한 특성을 보인다. HyperNOs는 이 두 모듈을 동일한 인터페이스에 래핑하여, 사용자는 model_type='FNO' 혹은 'CNO'만 바꾸면 바로 전환할 수 있다. 또한, 사용자 정의 연산자를 플러그인 형태로 추가할 수 있는 확장성을 갖추고 있어, 최신 트랜스포머 기반 연산자나 그래프 신경 연산자도 손쉽게 실험에 포함시킬 수 있다.

실험 결과에서는 베이징 기후 데이터, Navier‑Stokes 시뮬레이션, 전자기 파동 전파 등 대표적인 PDE 벤치마크에서 기존 최첨단 결과를 능가하거나 동등한 성능을 달성했다. 특히, 하이퍼파라미터 탐색을 48시간 내에 2000개의 트라이로 마친 경우, 최적 모델의 평균 L2 오차가 기존 수동 튜닝 대비 12% 개선되었으며, 동일 파라미터 수 제한 하에서도 경쟁력 있는 결과를 얻었다.

한계점으로는 현재 Ray‑tune에 의존하는 구조 때문에 클라우드 환경이 아닌 로컬 머신에서는 스케일업이 제한적이며, FNO와 CNO 외의 최신 연산자(예: SNO, Transformer‑ONet)에 대한 베이스라인 구현이 아직 부족하다는 점을 언급한다. 향후 버전에서는 멀티‑노드 스케줄러와 더 다양한 아키텍처 템플릿을 제공할 계획이다.