예측 코딩 네트워크를 위한 효율적인 초기화 기법

초록

본 논문은 예측 코딩(Predictive Coding) 네트워크의 학습 효율성을 크게 향상시키는 새로운 초기화 방법을 제안한다. 기존 초기화 기법들을 체계적으로 분석하고, ‘스트림 정렬 평균 초기화(stream‑aligned average initialization)’를 도입해 이전 배치에서 얻은 은닉 상태를 보존한다. 실험 결과, 감독·비감독 모두에서 수렴 속도가 최대 5배 빨라지고, 최종 테스트 손실도 개선되어 백프로파게이션과 비슷한 계산 효율을 달성한다.

상세 분석

예측 코딩 네트워크(PCN)는 에너지 함수를 최소화하는 두 단계(예측 단계와 학습 단계)로 동작한다. 이때 각 층의 뉴런 값은 여러 번의 반복 업데이트를 거쳐 수렴해야 하며, 그 반복 횟수 T는 일반적으로 층 수 L에 비례한다(보통 T≈5L). 따라서 PCN의 계산 복잡도는 SMM_PC = 2T 로 표현되며, 이는 전통적인 역전파(BP)의 SMM_BP = 2L‑1보다 크게 차이 난다. 논문은 이러한 비효율의 핵심 원인 중 하나가 ‘초기화’임을 지적한다. 기존에는 무작위 초기화(I_N), 영 초기화(I_0), Null 초기화(I_∅), 그리고 Forward 초기화(I_fw) 네 가지가 사용되었지만, 각각의 한계가 명확히 제시된다. 특히 I_fw는 에너지를 출력층에만 집중시켜 최소 T_min_f = L 단계가 필요하고, 추가적인 순차 행렬 곱 L을 요구해 총 SMM_I_fw ≤ 3L 로 여전히 BP보다 비효율적이다. 또한 순환 구조를 가진 PCN에는 적용이 불가능하다.

이에 저자들은 두 가지 핵심 아이디어를 제안한다. 첫째, ‘스트림 정렬 학습(stream‑aligned training)’을 통해 연속된 미니배치가 동일 클래스에 속하도록 배치 순서를 조정함으로써 은닉 상태의 변동성을 감소시킨다. 둘째, ‘스트림 정렬 평균 초기화(stream‑aligned average initialization)’를 도입해 이전 배치에서 얻은 은닉 활성값들의 클래스별 평균을 새로운 배치의 초기값으로 사용한다. 이는 기존 I_∅가 미니배치 환경에서 발생하는 잡음을 완화하고, I_fw가 요구하는 완전한 포워드 패스를 대체한다. 저자는 또한 연속형 Hopfield 네트워크를 결합해 비감독 학습 상황에서도 동일한 초기화 원리를 적용한다.

이론적으로는 toy network에서 평균 초기화가 I_fw보다 더 낮은 에너지 값을 보장함을 증명하고, 실험적으로는 FashionMNIST, CIFAR‑10 등 여러 벤치마크에서 T를 크게 감소시켜도 정확도 저하가 없음을 확인한다. 특히 T=510 수준에서도 I_fw 대비 25배 빠른 수렴을 보이며, 최종 테스트 손실도 약 1‑2% 개선된다. 이러한 결과는 PCN이 GPU에서 완전 병렬화된 상황에서도 BP와 경쟁 가능한 효율성을 가질 수 있음을 시사한다.