비보존 시스템을 위한 평형 전파 확장

초록

본 논문은 기존의 에너지 기반 평형 전파(EP)가 적용되지 못하던 비보존(비대칭) 동역학에 대해 두 가지 새로운 프레임워크, 비대칭 EP(AEP)와 다이아딕 EP(Dyadic EP)를 제안한다. AEP는 자유 평형점에서의 야코비안의 반대칭 성분을 보정항으로 추가해 정확한 비용 그래디언트를 얻고, Dyadic EP는 상태 공간을 두 배로 확장한 변분형 에너지 함수를 정의해 동일한 결과를 병렬적으로 구현한다. MNIST 실험에서 두 방법 모두 기존 VF 알고리즘보다 빠른 수렴과 높은 정확도를 보였다.

상세 분석

이 논문은 물리‑영감 학습 알고리즘인 평형 전파(Equilibrium Propagation, EP)의 근본적인 한계를 짚고, 비보존 시스템, 즉 힘장 F(x,θ,u) 가 에너지 함수로부터 유도되지 않는 경우에도 정확한 비용 함수 그래디언트를 계산할 수 있는 두 가지 새로운 방법을 제시한다. 첫 번째 방법인 비대칭 EP(AEP)는 기존 EP의 자유 단계와 동일하게 시스템을 자유 상태 x₀까지 수렴시킨 뒤, 자유 상태에서의 야코비안 J_F(x₀,θ)=∂F/∂x 를 대칭(S_J)과 반대칭(A_J) 부분으로 분해한다. 반대칭 성분 A_J는 비보존성의 근원이며, 이를 −2A_J(x−x₀) 라는 보정항으로 학습 단계의 동역학에 추가한다. 이렇게 수정된 동역학은 자유 상태에서의 야코비안을 전치(J_Fᵀ)와 동일하게 만들어, nudged equilibrium x_β^A 가 전통적인 EP에서 요구하는 ∂E_T/∂x=0 형태와 동일한 선형화 관계를 만족한다. 결과적으로, 두 nudged 상태 x_{+β}^A와 x_{−β}^A 사이의 차이를 기존 EP와 동일한 형태로 파라미터 업데이트에 사용하면, 정확히 dC/dθ = −∂F/∂θᵀ·J_F⁻¹·∂C/∂x 를 복원한다. 이 증명은 Appendix A와 B에 상세히 제시되어 있으며, 특히 A_J가 0에 가까울 때는 기존 VF와 동일한 동작을, A_J가 크게 작용할 때는 VF가 비용을 최대화하는 오류를 바로잡는다.

두 번째 방법인 다이아딕 EP(Dyadic EP)는 시스템의 차원을 2n 으로 확장하여 변수 (z, z′) 를 도입하고, 새로운 에너지 함수 H(z,z′,θ) 와 비용 D(z,z′) 를 정의한다. 이때 H는 원래 비보존 힘장을 보존 형태로 매핑하는 Bateman‑type 이중화 기법을 차용한다. 변분 원리를 적용하면, 두 변수에 대한 동역학은 각각 원래 시스템과 그 전치 시스템을 동시에 시뮬레이션하게 되며, 양쪽에서 동일한 nudging 파라미터 β 를 적용해 긍정·부정 단계가 병렬로 진행된다. 따라서 AEP와 동일한 그래디언트 식을 얻지만, 구현 측면에서는 두 개의 독립적인 시뮬레이션을 동시에 수행함으로써 시간 복잡도를 크게 늘리지 않는다.

실험에서는 연속형 Hopfield 네트워크를 사용해 MNIST 손글씨 분류를 수행했으며, 대칭 연결을 가진 경우 AEP가 기존 EP보다 빠른 수렴과 약 0.5% 높은 정확도를 보였다. 비대칭 연결 비율을 높여 완전 비보존 상황을 만들면, 기존 VF는 마지막 층만 학습 가능한 극단적인 성능 저하를 보이는 반면, AEP와 Dyadic EP는 전체 파라미터를 효과적으로 최적화해 92% 이상의 정확도를 유지한다. 또한, 피드포워드 구조만을 제한했을 때도 두 방법은 전통적인 백프로파게이션과 거의 동일한 학습 곡선을 나타냈다.

이 논문의 핵심 기여는 (1) 비보존 시스템에서도 정확한 비용 그래디언트를 얻을 수 있는 로컬 보정 메커니즘을 제시한 점, (2) 변분형 이중화 접근법을 통해 동일한 결과를 병렬적으로 구현한 점, (3) 이론적 증명과 실험을 통해 기존 VF 알고리즘의 한계를 정량적으로 입증한 점이다. 특히 AEP의 보정항이 완전히 로컬(연결된 뉴런 사이에만 존재)이라는 점은 신경형 하드웨어나 생물학적 회로에 직접 적용 가능성을 높인다. 향후 연구에서는 스파이킹 뉴런, 양자 회로, 그리고 연속적인 시간‑연속형 입력에 대한 확장을 탐색하고, 보정항을 자동으로 추정하는 메타‑학습 기법을 도입해 구현 복잡성을 낮추는 방향이 기대된다.