뇌 학습을 위한 변분 잠재 평형 모델

초록

본 논문은 뇌의 시공간 패턴 학습을 설명하기 위해, 에너지 기반의 변분 원리를 이용한 “변분 잠재 평형(VLE)” 프레임워크를 제시한다. VLE는 기존의 일반화 잠재 평형(GLE)과 역방향 방법(Adjoint Method)을 통합·확장하여, 연속시간 신경망에서 BPTT와 동등한 오류 전파를 국소적(시간·공간)으로 구현한다. 전압‑전류‑오류 3구역 뉴런 모델과 전방·후방 가중치 학습 규칙을 도입해, 생물학적 제약을 만족하면서도 정확한 그래디언트 추정이 가능함을 보인다. 실험적으로는 단순 체인 네트워크와 다층 회로에서 학습 수렴을 확인하였다.

상세 분석

본 연구는 뇌의 시공간 학습 메커니즘을 물리학적 변분법과 최적 제어 이론에 기반한 에너지 함수 E(t)=½∑ₙeₙ²+βC(t) 로 정형화한다. 여기서 eₙ은 뉴런‑국부 오류, C는 전역 비용, β는 출력 뉴런에만 작용하는 작은 누징 파라미터이다. 변분 원리를 적용해 ∂E/∂θᵢ = –eᵢ∂eᵢ/∂θᵢ 형태의 로컬 학습 법칙을 도출하고, 시냅스 가중치에 대해서는 ˙Wᵢⱼ = eᵢ rⱼ 라는 Hebbian‑like 업데이트식을 얻는다.

시간 연산자는 네 가지 기본 연산(전방 할인, 전방 탐색, 후방 저역통과, 후방 탐색)으로 정의되며, 각각은 생물학적 막 전위 통합(저역통과)와 미래 입력에 대한 전향적 반응(탐색)을 모델링한다. 특히 전방 할인 연산 ˆεᵣ와 전방 탐색 연산 ˘uᵣ은 서로 역전 관계에 있어, β→0 일 때 전체 에너지 최소화가 비용 C 최소화와 동등함을 보인다.

오류 전파는 eᵢ = ˜εₘᵢ (Adjoint Method 결과) 로부터 시작하지만, 이 식은 미래 상태에 의존해 인과성을 위배한다. 저자는 이를 해결하기 위해 전방 할인 연산을 근사적인 전방 탐색 연산으로, 후방 저역통과를 근사적인 저역통과 연산으로 대체한다. 이렇게 하면 오류 신호가 실제 뉴런의 저역통과와 유사한 형태로 전파되어, 시간적 국소성을 회복한다.

공간적 국소성 문제, 즉 “가중치 전송 문제”는 역방향 가중치 Bᵢⱼ를 별도로 학습함으로써 해결한다. Bᵢⱼ는 전방 가중치 Wⱼᵢ와 동등하도록 ‑∂E_B/∂Bᵢⱼ = (Wⱼᵢ·ˆεᵣⱼ – Bᵢⱼ·ˆεₘⱼ)·ˆεₘⱼ 형태의 로컬 규칙으로 업데이트된다. 이 메커니즘은 기존의 Feedback Alignment(FA)와 Phaseless Alignment Learning(PAL)보다 강력하게, 다층 네트워크에서도 정확한 그래디언트 근사를 가능하게 한다.

수학적으로는 Euler‑Lagrange 방정식을 적용해 연속시간 뉴런 동역학 τₘ·ẋᵢ = –xᵢ + ΣⱼWᵢⱼφⱼ(˘uᵣⱼ) + eᵢ 로부터 3구역(소마, 입력, 오류) 뉴런 모델을 도출한다. τₘ=τᵣ인 특수 경우에는 VLE가 기존의 Latent Equilibrium(LE)와 동일해지며, 이때는 인과성 문제가 사라진다.

실험에서는 두 뉴런으로 구성된 단순 체인(학생‑교사 설정)과 다층 회로에서 Bᵢⱼ를 학습하거나 고정했을 때의 수렴 특성을 비교하였다. Bᵢⱼ를 학습하거나 Wᵀ와 일치하도록 설정하면 손실이 급격히 감소하고, 출력이 목표 신호에 근접한다. 반면 고정된 임의 Bᵢⱼ는 수렴하지 못한다. 이는 VLE가 실제 뇌 회로에서 역방향 가중치를 동적으로 조정함으로써 정확한 오류 전파를 구현할 수 있음을 시사한다.

전체적으로 본 논문은 변분 원리를 통해 BPTT와 동등한 연속시간 오류 전파를 생물학적 제약 하에 구현하는 체계적 이론을 제공한다. 에너지 기반 접근, 3구역 뉴런 모델, 그리고 역방향 가중치 학습이라는 세 축을 결합함으로써, 기존의 GLE·LE·FA·PAL을 포괄하고 확장한다. 이는 뇌의 실제 회로 설계뿐 아니라, 저전력 뉴로모픽 하드웨어 구현에도 직접적인 설계 지침을 제공한다.