우리는 자기 주의(self-attention)가 없는 변환 아키텍처를 기반으로 하는 머신 러닝(ML) 응용 프로그램과 이산 동역학 시스템 간의 유사성을 검토한다. 여기서 ’neural chains’는 변환 아키텍처에 기반한 것이다. 비저키 Burgers 방정식과 Eikonal 방정식을 표준 수치 방법과 PINN 학습을 통해 해결하는 비교 분석이 제시되고 논의된다. 결과적으로, 표준 수치 방법과 PINN 학습은 동일한 시스템 역학에 대한 지식을 얻는 두 가지 다른 경로를 제공한다는 것을 발견한다. PINN 학습은 무작위 행렬을 통해 진행되며, 이는 유한 차분(FD) 과정에서 사용되는 매우 구조화된 행렬과 직접적인 관련이 없다. 수용 가능한 솔루션으로 이어지는 무작위 행렬은 행렬 공간에서 고유 삼중대각형 형태보다 훨씬 더 많기 때문에, PINN 검색은 일반적으로 무작위 집합에 도달한다. 그 대가로, 파라미터의 수가 크게 증가하여 물리적 투명성(설명 가능성)과 높은 학습 비용이 발생하며, 이는 FD 과정에는 없다.

서론

자기 주의 메커니즘을 추가한 변환 아키텍처는 현대 머신 러닝 연구에서 큰 성취로 여겨지며, 특히 대형 언어 모델(LLM)의 예측 능력에 큰 영향을 미친다. 간단히 말해서, 자기 주의의 힘은 특성 공간과 시간(기억)에 비국소 상관관계를 포함하는 데서 기인한다. 수학적으로 이것은 비마코브 연쇄(non-Markov chains)와 연결된다.

이 논문에서는 한 발짝 물러나, 자기 주의가 없는 변환 아키텍처(기본 DNN으로 간주될 수 있는 “neural chains”)와 이산 동역학 시스템 사이의 유사성을 재검토한다. 이 작업의 주요 목표는 신경통상미분방정식(NIE)을 통해 발생하는 이산화 형태의 이산 동역학 시스템과 관련된 변환 아키텍처를 연구하는 것이다. 여기서 우리는 특징을 연속 변수로 취급하여 즉시 적분 방정식으로 이어진다. 이 접근법은 최근 심층 학습에서 강력한 패러다임으로 부상한 신경ODE 아이디어의 자연스러운 일반화를 나타내며, 연속 시간 동역학 시스템과 신경망을 결합한다. 이러한 관점은 뉴럴 컨트롤 ODEs, 뉴럴 SDEs(확률 과정), 해밀턴 네트워크, 연속 정규화 플로우, 물리에 기반한 학습, 생성 모델링 등 광범위한 모델 패밀리를 창출했다.

이 논문의 주요 포인트는 PINN 네트워크의 학습 과정을 구동하는 메커니즘과 신경 연결체를 이산 동역학 시스템으로 처리하여 수치 해법 사이의 잠재적인 연결성을 탐구하는 것이다. 여기서 기존의 잘 해석할 수 있는 유한 차분과 같은 표준 수치 방법을 고려한다. 이러한 연구는 물리학을 학습하는 시스템에 대한 메커니즘 해석 가능성이라는 신생 분야로 향하는 단계를 나타낸다.

이 연결은 여러 이유로 흥미롭다. 첫째, PINN가 신경 PDE의 수렴된 솔루션을 학습하도록 설계되었을 때, 필요한 신경 연결체의 크기를 평가할 수 있다. 둘째, 그리고 일반적으로 더 중요하게는, 이는 학습 과정의 설명 가능성/해석성을 밝히는 데 도움이 된다.

[Title_Easy_KO]: “학습 네트워크와 동역학 시스템: 연결점 탐색” [Title_Easy_EN]: “Exploring the Link Between Learning Networks and Dynamical Systems”