고차원 동역학을 마스터하는 해밀토니안 신경망

초록

본 논문은 물리학적 제약인 해밀토니안 구조를 신경망에 통합한 해밀토니안 신경망(HNN)이 전통적인 피드포워드 신경망(NN)보다 고차원 보존계 시스템을 학습하고 예측하는 데 훨씬 효율적임을 입증한다. 저자는 선형·비선형 진동자와 다중 자유도를 가진 이중안정 체인 모델을 대상으로, 데이터 양, 차원 수, 학습 파라미터 간의 관계를 정량적으로 분석하고, HNN이 에너지 보존과 위상공간 매핑에서 갖는 근본적인 이점을 ‘단일 에너지 표면 학습’이라는 관점으로 설명한다. 실험 결과는 훈련 데이터가 충분히 주어질 때 HNN이 차원 증가에 따라 오류가 급격히 감소하고, NN은 차원 상승에 따라 성능이 급격히 저하되는 모습을 보여준다.

상세 분석

본 연구는 해밀토니안 신경망(HNN)이 고차원 보존계 동역학을 학습할 때 왜 전통적인 피드포워드 신경망(NN)보다 우수한지를 두 가지 관점에서 심층적으로 분석한다. 첫 번째는 맵 빌딩 관점이다. NN은 입력(위치 q와 속도 \dot{q})을 받아 직접 속도와 가속도(또는 힘)를 출력한다. 따라서 학습 과정에서 NN은 각 차원마다 파생된 미분값을 별도로 학습해야 하며, 차원이 커질수록 파생값의 수가 기하급수적으로 늘어나므로 파라미터 공간이 급격히 확장된다. 반면 HNN은 입력으로 위치 q와 운동량 p만을 받아 하나의 스칼라 함수인 해밀토니안 H(q,p) 를 출력한다. 이 함수의 그래디언트를 통해 \dot{q}=∂H/∂p, \dot{p}=−∂H/∂q 를 계산하므로, 실제 동역학은 단일 에너지 표면의 기하학적 형태에 의해 완전히 결정된다. 즉, HNN은 “에너지 표면 자체를 학습”하고, 그 표면의 기울기만으로 모든 차원의 동역학을 재구성한다. 차원이 증가해도 학습해야 할 대상은 여전히 하나의 스칼라 함수이므로 파라미터 효율성이 크게 향상된다.

두 번째는 에너지 보존 및 위상공간 구조이다. HNN은 손실 함수에 \dot{q}와 \dot{p}의 차이를 포함함으로써 해밀토니안 흐름을 강제한다. 이는 수치적 통합 단계에서도 심벌릭하게 심플렉틱 구조를 유지하게 하여 장기 예측 시 에너지 누수가 거의 발생하지 않는다. 실험 결과(Fig. 3, 5, 6, 7, 9)에서 HNN은 0.01 % 수준의 에너지 오차를 유지하는 반면, NN은 10 %에 달하는 에너지 손실을 보인다. 특히 차원 d가 6~9까지 증가할 때 HNN의 평균 상대 에너지 오차는 훈련 샘플 수 N에 대해 전력 법칙(δE/E ∝ N⁻⁰·²²)으로 급격히 감소한다. 반면 NN은 차원 증가에 따라 오차가 급격히 상승하고, 동일한 N에서도 표준편차가 크게 늘어나 재현성이 떨어진다.

또한, 비선형 진동자와 이중안정 체인 실험을 통해 HNN이 복잡한 비선형 포텐셜(예: ¼ q⁴)과 상호작용(인접 질량 간 스프링)까지도 정확히 학습함을 확인했다. 비선형 경우에도 HNN은 NN보다 20배 이상 낮은 에너지 오차를 기록했으며, 훈련 데이터가 충분히 많을 경우 혼돈 궤도까지도 정확히 재현한다는 점이 강조된다.

마지막으로, 저자는 학습 비용 함수(C), 에너지 오차(δE/E), 상태 오차(δr) 세 가지 지표를 제시하고, 이들 사이의 관계를 정리한다. 에너지 오차가 작을수록 상태 오차도 작아지는 경향이 있지만, 비용 함수가 낮다고 해서 반드시 에너지 보존이 보장되지는 않는다. 따라서 고차원 시스템을 평가할 때는 에너지 오차를 주요 지표로 삼는 것이 바람직하다고 결론짓는다.

이러한 분석을 종합하면, HNN은 “단일 스칼라 함수를 학습한다는 물리적 제약”을 통해 차원 저주를 회피하고, 장기 예측 시 에너지 보존을 자연스럽게 만족시키며, 비선형·혼돈 시스템까지도 효율적으로 모델링한다는 강력한 근거를 제공한다.