시간 예측 코딩으로 장기 의존성 학습

초록

본 논문은 예측 코딩(Predictive Coding)과 실시간 순환 학습(RTRL)을 결합한 새로운 알고리즘 tPC‑RTRL을 제안한다. tPC‑RTRL은 지역적·병렬 연산만으로 시계열 데이터의 장기 의존성을 학습할 수 있으며, 합성 복사 과제와 WikiText‑2 언어 모델링, 영어‑프랑스어 번역 등에서 BPTT와 거의 동등한 성능을 보인다. 특히 1,500만 파라미터 규모의 번역 모델에서 테스트 퍼플렉시티 7.62( BPTT 7.49) 를 기록해 대규모 시퀀스 학습에 최초로 적용된 사례를 제시한다.

상세 분석

이 연구는 두 가지 핵심 아이디어를 융합한다. 첫 번째는 기존 예측 코딩(PC)의 시간 확장인 Temporal Predictive Coding(tPC)이다. tPC는 각 시점의 은닉 상태를 이전 시점의 최적화된 상태 ˆx(t‑1)와 결합해 계층적 가우시안 모델을 구성하고, 자유 에너지(F)를 지역 오류(예측 오차)의 가중합으로 변환한다. 이때 파라미터 업데이트는 자유 에너지에 대한 μ(t)와 W(t)의 미분을 이용한 경사 하강법으로 수행되지만, 순수 tPC는 현재 시점에서만 파라미터의 즉각적 영향을 반영한다는 한계가 있다.

두 번째 아이디어는 Real‑Time Recurrent Learning(RTRL)이다. RTRL은 은닉 상태 x(t)에 대한 파라미터 영향 행렬 M(t)=∂x(t)/∂W 를 재귀적으로 유지함으로써 시간 길이에 독립적인 메모리 요구량을 제공한다. 그러나 전통 RTRL은 M(t)의 차원이 n·P≈O(n³) 로 급증해 대규모 네트워크에 비현실적이다.

논문은 이 두 접근법을 결합해 tPC‑RTRL을 설계한다. 핵심은 M(t)를 μ(t) 대신 수렴된 은닉 상태 ˆx(t) 로 업데이트하는 점이다. 구체적으로
M(t)=∂μ(t)/∂W + ∂μ(t)/∂ˆx(t‑1)·M(t‑1) ,
그리고 파라미터 변화는
ΔW=‑η