메시 신경망과 전방 전용 그래디언트 전파

1. 서론에서는 기존 딥러닝이 역전파(back‑propagation, BP)에 크게 의존하고, BP가 메모리·연산 비용, 수렴 불안정성, 생물학적 비현실성 등의 문제점을 가지고 있음을 지적한다. 최근 연구들 중 전방 전용 그래디언트 계산, 합성 그래디언트, 정보 병목 등 다양한 대안이 제시됐지만, 대부분은 제한된 토폴로지(예: 완전 연결 MLP) 혹은 추가 연산 오버헤드가 존재한다. 2. 문제 정의에서는 전통적인 층 기반 모델을 행렬 W와 활성화 φ로 기술하고, BP가 체인 룰을 역방향으로 적용해 파라미터마다 손실 미분을 구하는 방식을 수식화한다. 또한, 계산 그래프(CG) 접근법이 모든 토폴로지를 표현할 수 있지만, 그래프 구조와 각 엣지의 미분값을 저장해야 하므로 메모리·시간 복잡도가 급증한다는 점을 강조한다. 3. 제안 모델인 MNN은 뉴런을 정점, 연결을 가중치로 보는 인접 행렬 A를 핵심 파라미터로 채택한다. 입력·은닉·출력 뉴런을 순서대로 배치하는 “iho” 규칙을 통해 토폴로지를 명시적으로 구분하지 않으며, 임의의 그래프(희소·밀집 모두 가능)를 그대로 표현한다. 상태 전이식 sᵗ = φ̂(sᵗ⁻¹A) 로 정의하고, 편향은 가상 입력(값 1)으로 처리한다. 4. 그래디언트 유도에서는 손실 E(y, ŷ) 에 대한 파라미터 Aᵢⱼ의 미분을 전방 전용 방식으로 전개한다. 먼저 ∂sᵗₒ/∂Aᵢⱼ 를 체인 룰로 전개하고, (i) o=j와 (ii) o≠j 경우를 구분해 각각 식 (7)–(13) 형태로 정리한다. 핵심은 이전 상태 sᵗ⁻¹와 그에 대한 그래디언트 ∂sᵗ⁻¹/∂Aᵢⱼ 가 재귀적으로 등장한다는 점이다. 이를 텐서 형태로 일반화하면 ∇ₐ sᵗ = ∇ₜ φ(tᵗ) ⊙ (∇ₐ sᵗ⁻¹ A + Ŝᵗ) 라는 간결한 재귀식이 얻어진다. 여기서 ∇ₜ φ는 활성화 함수의 원소별 미분, Ŝᵗ는 현재 상태를 특정 차원에 삽입한 텐서이며, ⊙는 원소곱이다. 5. 알고리즘은 초기화(∇ₐ s←0), 각 타임스텝마다 t←sᵗ⁻¹A, ∇ₐ s←∇ₜ φ(t)⊙(∇ₐ s A + Ŝᵗ), s←φ(t) 를 수행하고, 최종 출력 y를 추출한다. 손실 그래디언트는 ∂E/∂A = (∂E/∂y)·∇ₐ sᵗ₋₁ 로 계산된다. 이 과정은 전부 순방향 연산이며, 중간값을 별도 저장할 필요가 없으므로 메모리 사용량이 크게 감소한다. 6. 구현 및 실험 파트에서는 텐서 연산을 활용해 GPU에서 효율적으로 실행되는 것을 보였으며, 희소 그래프(예: 10⁶ 노드, 10⁷ 엣지)에서도 메모리·시간 효율이 기존 BP 기반 GNN보다 우수함을 실험적으로 확인했다. 또한, MNN은 동일한 파라미터 수 대비 일반화 성능이 향상되는 경향을 보였으며, 학습 수렴 속도도 비슷하거나 더 빠른 경우가 있었다. 7. 결론에서는 MNN이 “전방 전용 그래디언트 전파(FOP)”라는 새로운 학습 패러다임을 제공함을 강조한다. 이는 역전파의 메모리·연산 부담을 없애고, 임의 토폴로지를 자연스럽게 다룰 수 있게 한다. 향후 연구 과제로는 비선형 동적 시스템에 대한 안정성 분석, 다양한 활성화 함수와 정규화 기법 적용, 그리고 하드웨어 가속을 위한 전용 커널 설계 등을 제시한다.