양방향 예측 코딩: 생성·판별 통합 모델의 새로운 패러다임

초록

본 논문은 기존의 단방향 예측 코딩 모델이 갖는 생성·판별 한계를 극복하고, 하나의 에너지 함수로 두 방향의 추론을 동시에 수행하는 양방향 예측 코딩(bPC)을 제안한다. bPC는 상향·하향 가중치를 별도로 학습하며, 완전 국소 연산과 Hebbian 학습 규칙을 유지한다. MNIST·Fashion‑MNIST에서 분류와 클래스‑조건 이미지 생성 모두에서 기존 모델과 동등하거나 우수한 성능을 보였으며, 다중모달 학습 및 결손 정보 복원과 같은 생물학적으로 의미 있는 과제에서도 뛰어난 결과를 제시한다.

상세 분석

bPC는 기존의 생성형 PC(genPC)와 판별형 PC(discPC)의 에너지 함수를 가중치 α_gen, α_disc 로 스칼라 결합한 E(x,W,V)=∑{l=1}^{L‑1}α_gen‖x_l‑W{l+1}f(x_{l+1})‖²+∑{l=2}^{L}α_disc‖x_l‑V{l‑1}f(x_{l‑1})‖² 로 정의한다. 이 통합 에너지 함수는 상향 예측 오류와 하향 예측 오류를 동시에 최소화하도록 설계돼, 하나의 신경 회로 내에서 두 방향의 추론이 병행될 수 있다. 초기화 단계에서는 discPC와 동일하게 입력층에서 상향 전파를 수행해 빠른 암시적 추론을 제공하고, 이후 연속적인 gradient descent(식 4) 를 통해 값 뉴런(x)와 오류 뉴런(ε) 간의 상호작용을 구현한다. 오류 뉴런은 각각 상향·하향 오류를 별도로 보유하므로, 값 뉴런은 두 오류 신호를 가중합해 업데이트되며, 이는 생물학적 시냅스 가소성(Hebbian) 규칙(식 6)과 완전 일치한다.

학습 측면에서 bPC는 지도·비지도 모두에 적용 가능하다. 지도 학습에서는 입력층 x₁과 출력층 x_L을 각각 데이터와 레이블에 고정(clamp)하고, 비지도 학습에서는 출력층을 자유롭게 두어 압축 표현을 학습한다. 혼합 설정도 지원해 일부 레이블만 고정하고 나머지는 자유롭게 추론하도록 할 수 있다. 실험에서는 두 개의 은닉층(256 뉴런) 구조를 동일하게 적용했으며, MNIST·Fashion‑MNIST에서 분류 정확도는 discPC와 동등하고, 클래스‑조건 이미지 생성에서는 평균 RMSE가 genPC보다 현저히 낮았다. 특히, 기존 하이브리드 PC(hybridPC)가 상향 초기화만 제공하고 하향 역동만 수행하는 반면, bPC는 양방향 오류를 동시에 최소화함으로써 에너지 지형을 데이터 분포에 더 잘 맞추어 성능 격차를 설명한다.

추가 실험으로는 (1) 두 개의 독립 모달리티(시각·청각)를 연결하는 bimodal 아키텍처에서 양방향 학습이 각 모달리티의 재구성 오류를 감소시켰으며, (2) 부분적으로 가려진 이미지에 대해 출력층을 레이블에 고정하고 입력층을 결손된 상태로 두었을 때, bPC는 결손 영역을 효과적으로 복원했다. 이는 bPC가 상향·하향 정보 흐름을 동시에 활용해 불완전한 입력에서도 강인한 추론을 수행한다는 생물학적 근거를 제공한다.

전반적으로 bPC는 단일 에너지 기반 모델로 생성·판별 양측면을 통합하고, 완전 국소 연산과 Hebbian 학습을 유지함으로써 신경 과학적 타당성과 머신러닝 성능을 동시에 만족한다. 향후 연구에서는 더 깊은 계층 구조, 비선형 활성화 함수 다양화, 그리고 실제 뇌 데이터와의 정량적 비교를 통해 bPC의 생물학적 구현 가능성을 검증할 여지가 있다.