예측 코딩 네트워크의 무한 폭·깊이 한계

초록

본 논문은 선형 잔차 네트워크를 대상으로 예측 코딩(Predictive Coding, PC)과 역전파(Back‑Propagation, BP)의 무한 폭·깊이 한계를 분석한다. 저자들은 폭·깊이 안정적인 피처‑학습 파라미터화가 PC와 BP에 대해 동일함을 증명하고, 폭이 깊이에 비해 충분히 클 때 PC의 평형 에너지 함수가 BP 손실과 수렴함을 보인다. 실험적으로 선형·비선형 모델에 적용해 이론이 실제 학습에서도 유지됨을 확인하였다.

상세 분석

이 연구는 최근 PC 네트워크(PCN)의 깊이 확장에 대한 불안정성을 해결하고자, BP에서 성공적으로 사용된 “폭‑안정·피처‑학습” 파라미터화(abcd 스킴)를 PC에 그대로 적용할 수 있는지를 엄밀히 검증한다.

1. 모델 설정: 입력 차원 D, 폭 N, 깊이 L인 선형 MLP/잔차 네트워크를 고려하고, 가중치 초기화 분산을 N⁻ᵇˡ, 활성화 스케일을 N⁻ᵃˡ, 학습률을 η₀ γ² N⁻ᶜ, 출력 스케일을 γ₀ Nᵈ 로 일반화한다. 여기서 (aₗ, bₗ, c, d) 가 파라미터 집합이다.
2. BP의 기존 결과: Yang & Hu, Bordelon 등은 세 가지 desiderata(활성화, 예측, 피처가 폭에 대해 Θ(1) 유지)를 만족하는 유일한 1‑차원 파라미터화 집합을 도출했으며, 대표적으로 평균‑필드(mean‑field) 파라미터화는 aₗ=½ (ℓ>1), bₗ=c=0, d=½ 로 정의된다. 이 경우 네트워크는 “리치”(rich) 학습을 유지하면서 폭이 무한대로 갈 때 동적이 안정한다.
3. PC의 에너지 평형: 선형 네트워크에서는 활동 최적화 문제(∂F/∂z=0)가 유일한 해 z를 갖고, 평형 에너지 F(θ)=½ s(θ) L(θ) 로 표현된다. 여기서 s(θ)=1+∑_{ℓ=2}^L‖W^{(L:ℓ)}‖² 은 가중치 크기에 의존하는 스케일링 팩터이다. 따라서 PC가 실제 최적화하는 목표는 MSE 손실 L(θ)에 가중치‑의존적 스케일링을 곱한 형태이다.
4. 주요 정리 1 (폭‑안정 파라미터화): 선형 MLP에 대해 활동이 평형에 도달했다고 가정하면, PC가 만족해야 할 세 desiderata는 BP와 동일하게 전개된다. 정리 1은 “2aₗ + bₗ = 1 (ℓ≥2), 2a₁ + b₁ = 0, 2aₗ + c = 1 (ℓ≥2), 2a₁ + c = 0, d = ½” 라는 조건이 PC에도 필요함을 증명한다. 즉, 폭‑안정·피처‑학습 파라미터화는 BP와 완전히 일치한다.
5. 주요 정리 2 (깊이‑안정 파라미터화): 잔차 구조에 대해 동일한 스케일링을 적용하면, 깊이 L이 폭 N에 비해 작을 때(N≫L) 평형 스케일링 s(θ) → 1 로 수렴한다. 따라서 F*(θ) → L(θ) 가 되며, PC가 계산하는 가중치 그래디언트는 BP와 동일해진다. 이는 Corollary 4.2 로 정리되며, “폭이 깊이에 비해 충분히 크면 PC는 BP와 동일한 학습 역학을 구현한다”는 결론을 낸다.
6. 실험 검증:
   • 선형 MLP (L=5)와 잔차 네트워크를 CIFAR‑10, Fashion‑MNIST 등에 적용해 폭을 16~2048까지 확대하였다. 평균‑필드 파라미터화 하에서 PC와 BP의 그래디언트 코사인 유사도가 폭이 커질수록 1에 수렴함을 관찰했다.
   • 비선형 ReLU 네트워크와 CNN에도 동일한 스케일링을 적용하고, Adam 옵티마이저와 결합해도 활동이 충분히 수렴하면(즉, 에너지 최소화가 이루어지면) PC‑gradient가 BP‑gradient와 일치함을 확인했다.
   • 활동 평형에 도달하지 못한 경우(예: 제한된 inference step) s(θ) 가 1보다 크게 유지되어 PC 손실이 BP 손실보다 과대평가되고, 학습이 불안정해지는 현상을 보고하였다.
7. 의의와 한계:
   • PC와 BP 사이의 이론적 격차를 폭·깊이 무한극한에서 완전히 메워, 기존에 “BP‑영감 재파라미터화”가 단순한 경험법칙이 아니라 근본적인 수학적 근거가 있음을 입증했다.
   • 결과는 선형 모델에 대한 엄밀한 증명에 기반하지만, 실험적으로 비선형·컨볼루션 구조에도 확장 가능함을 보여준다. 다만, 실제 뇌에서의 신경역학적 제약(시간 제한, 잡음 등)과 완전한 평형 도달 여부는 추가 연구가 필요하다.