피드백‑헤비안 네트워크로 구현한 연속 학습 메커니즘

초록

본 논문은 역전파 없이 로컬 Hebbian 규칙과 전용 피드백 경로를 결합한 소형 예측‑재구성 네트워크를 제안한다. 두 개의 입력‑출력 쌍을 순차·교대 학습시켜, 전방 가중치는 새로운 연관에 대해 LTD‑유사 억제를 보이며 피드백 가중치는 이전 연관의 흔적을 유지한다. 이러한 동작을 정량화하기 위해 가중치 평균과 정규화 보존 지수를 사용한다.

상세 분석

이 연구는 기존의 역전파 기반 연속학습 방법과 달리, 완전히 로컬한 시냅스 가중치 업데이트를 통해 학습과 기억 보존을 동시에 달성한다는 점에서 의미가 크다. 제안된 네트워크는 10‑유닛 입력·출력 레이어와 각각 10×10 크기의 전방·피드백 가중치 행렬 두 쌍으로 구성된다. 피드백 경로는 전방 1층의 활성화를 재구성해 다음 시간 단계에 가산형으로 주입함으로써, 짧은 시간 기억(temporal context)을 제공한다. 가중치 업데이트 식(1)은 세 부분으로 나뉜다. 첫 번째는 평균으로부터 편차를 이용한 공분산 Hebbian 항으로, 입력·출력의 동시 변동을 강화한다. 두 번째는 Oja‑형 정규화 항(β)으로, 시냅스 성장의 발산을 억제하고 행 노름을 일정하게 유지한다. 세 번째는 (t‑y)x 형태의 로컬 감독 항으로, 목표가 존재하는 경우에만 오류 신호를 직접 가중치에 반영한다. 이 세 항은 모두 각 시냅스에 독립적으로 적용되며, 전역적인 오류 역전파가 전혀 필요하지 않다.

학습 프로토콜은 두 가지가 있다. 첫 번째는 A→B 순차 학습으로, A 연관을 학습한 뒤 B 연관만을 추가 학습한다. 결과적으로 전방 2층 가중치는 B‑특이적 연결이 강화되는 동시에 A‑특이적 연결이 감소(LTD‑like)한다. 반면 피드백 가중치는 A‑연관에 대한 잔여 연결을 유지해, “learning‑without‑forgetting” 현상을 보인다. 두 번째는 A와 B를 교대로 제시하는 교대 학습으로, 두 연관이 동시에 유지된다. 이는 피드백 경로가 최근 활성화를 지속적으로 제공함으로써, 서로 다른 연관 간의 간섭을 완화하고 조건형 학습(conditioning)과 유사한 공동 유지(co‑maintenance)를 가능하게 한다.

정량적 평가는 행 평균(출력 연결성)과 열 평균(입력 연결성)을 추적하고, 정규화 보존 지수 R을 도입해 후속 학습 단계에서의 변화량을 초기 변화량에 대비해 비율화한다. R≈0이면 높은 보존, R>0이면 강화, R<0이면 억제를 의미한다. 실험 결과, 전방 가중치는 B 학습 단계에서 A‑연관에 대해 R≈‑0.8의 큰 감소를 보였으며, 피드백 가중치는 R≈0.6 정도의 유지 수준을 나타냈다. 교대 학습에서는 두 연관 모두 R≈0.4~0.5 수준으로 동시에 유지되었다.

이러한 결과는 (1) 로컬 Hebbian 규칙만으로도 연속 학습의 핵심 원리인 기억 보존과 선택적 억제를 구현할 수 있음을, (2) 전용 피드백 경로가 시간적 컨텍스트를 제공해 학습 간 간섭을 완화한다는 점을 실증한다. 또한, Oja‑형 정규화와 평균 중심화가 없을 경우 시냅스 발산 및 불안정이 발생한다는 부수적 교훈도 제공한다.