수학 연산 네트워크 기반 베이지안 동역학 방정식 발견

초록

본 논문은 기본적인 단항·이항 연산을 층으로 쌓은 “MathONet”이라는 과잉 파라미터화된 그래프를 설계하고, 구조적·비구조적 희소성을 반영한 베이지안 학습을 통해 불필요한 연산을 제거함으로써 동적 시스템의 ODE·PDE 지배 방정식을 자동으로 추출한다. Lorenz, Lotka‑Volterra, KPP 시스템 실험을 통해 기존 Sparse‑Group Lasso 대비 더 간결하고 정확한 모델을 얻음이 입증된다.

상세 분석

MathONet은 전통적인 딥러닝 구조를 수학 연산에 매핑한 혁신적인 설계이다. 입력 변수는 복제·연결되어 각 층의 이항 연산(덧셈·곱셈 등)과 단항 연산(사인·코사인·로그 등) 사이를 교차하면서 DenseNet‑유사한 피처 흐름을 만든다. 이때 PolyNet은 가중치가 곧 이항 연산의 계수를, OperNet은 단항 함수의 가중치를 담당한다. 과잉 파라미터화된 초그래프(super‑graph)에서 실제 지배 방정식은 불필요한 연결을 0으로 만든 서브그래프(sub‑graph)로 볼 수 있다.

희소성 확보를 위해 저자들은 먼저 Sparse‑Group Lasso를 적용했지만, 실험에서 여전히 과다한 항이 남아 동역학 재현에 한계를 보였다. 이를 극복하기 위해 베이지안 프레임워크를 도입, 각 가중치와 가중치 그룹에 대해 가우시안 하이퍼프라미터(precision)를 학습하도록 설계하였다. 모델 증거를 최대화하는 방식으로 하이퍼파라미터를 업데이트하고, 라플라스 근사를 이용해 사후 분포를 근사한다. 이 과정은 자동으로 불필요한 가중치를 강하게 억제해 구조적 희소성을 달성한다.

알고리즘은 “epoch‑cycle” 스케줄을 사용해 매 사이클 말에 가중치 절단(pruning)을 수행한다. 실험에서는 Lorenz 시스템에서 651개의 항을 가진 Sparse‑Group Lasso 결과와 달리, 베이지안 방법이 3~5개의 핵심 항만 남겨 정확한 어트랙터와 궤적을 재현한다. Lotka‑Volterra와 KPP PDE에서도 동일하게 최소한의 연산으로 원본 방정식을 복원했다.

이 접근법의 강점은 (1) 사전 정의된 함수 사전(dictionary)이 필요 없으며, (2) 연산 집합만 지정하면 자동으로 복합 비선형 구조를 탐색한다는 점, (3) 베이지안 정규화가 하이퍼파라미터 민감도를 낮추어 실용성을 높인다. 반면, 현재 구현은 가중치 초기화와 네트워크 깊이 선택에 어느 정도 경험적 튜닝이 필요하고, 라플라스 근사와 헤시안 계산이 고차원 시스템에서 계산 비용을 증가시킬 가능성이 있다. 또한 연산 집합에 로그·지수·삼각함수 등 제한된 함수만 포함돼 있어, 물리학적 비선형성(예: 절대값, 최대/최소 연산)에는 확장이 필요하다.

향후 연구는 (i) 변분 베이지안 방법이나 스파스 베이즈 신경망을 도입해 근사 정확도를 개선, (ii) 자동 연산 집합 확장 메커니즘을 설계해 보다 일반적인 물리 법칙을 포괄, (iii) 대규모 고차원 데이터에 대한 효율적인 헤시안 근사 기법을 개발하는 방향으로 진행될 수 있다.