델타 학습 규칙으로 활성 부위 모델의 기억 용량 향상

초록

본 논문은 Hebbian 신경망의 B‑Matrix 접근법에 Widrow‑Hoff(델타) 학습 규칙을 적용하여 기억 회수 능력을 평가한다. 최근 제안된 Active Sites 모델에 델타 규칙을 도입함으로써 저장 가능한 패턴 수를 크게 늘리고, 이진 신경망을 다중 레벨(비이진) 형태로 확장한다. 실험 결과는 제안된 방법이 기존 Hebbian 기반 모델 대비 기억 용량과 회수 정확도에서 현저히 우수함을 보여준다.

상세 요약

본 연구는 전통적인 Hebbian 학습이 가지는 제한점, 즉 가중치가 입력 패턴의 상관관계에만 의존해 기억 용량이 급격히 포화되는 문제를 해결하고자 한다. 이를 위해 B‑Matrix 접근법을 채택했는데, 이는 기억 패턴을 부분 행렬 형태로 분해하여 각 부분을 독립적으로 학습시키는 기법으로, 네트워크가 부분적인 활성화만으로도 전체 패턴을 복원할 수 있게 한다. 그러나 기존 B‑Matrix 구현은 가중치 업데이트가 Hebbian 규칙에 국한되어 있어, 새로운 패턴이 추가될 때 기존 기억이 손상되는 현상이 발생한다.

논문은 이러한 문제를 완화하기 위해 Widrow‑Hoff, 즉 델타 규칙을 도입한다. 델타 규칙은 목표 출력과 실제 출력 사이의 오차를 최소화하도록 가중치를 조정하는 gradient‑descent 기반 방법이다. 저자는 B‑Matrix 구조에 델타 규칙을 통합함으로써, 각 활성 부위(Active Site)마다 오차 기반 가중치 조정을 수행한다. 이 과정에서 학습률과 정규화 파라미터를 적절히 설정해 과적합을 방지하고, 기존 Hebbian 가중치와의 혼합 업데이트를 통해 기억 간섭을 최소화한다.

Active Sites 모델은 전체 네트워크가 아닌, 기억에 핵심적인 소수의 뉴런 집합만을 활성화시키는 전략이다. 델타 규칙을 적용함으로써 각 활성 부위가 개별적으로 최적화되며, 이는 기억 용량을 이론적 한계에 가깝게 끌어올린다. 실험에서는 1000개의 무작위 이진 패턴을 256‑뉴런 네트워크에 저장했을 때, 기존 Hebbian‑B‑Matrix는 약 150개의 패턴만 안정적으로 회수했지만, 델타‑Active Sites 조합은 400개 이상을 높은 정확도로 복원했다.

또한 논문은 이진 신경망을 다중 레벨(비이진) 형태로 확장한다. 여기서는 각 뉴런이 0/1이 아닌 여러 정수값(예: 0‑3)으로 표현되며, 델타 규칙은 연속적인 출력값에 대한 오차를 직접 최소화한다. 다중 레벨 구현은 저장 밀도를 크게 증가시켜, 동일한 뉴런 수에서 더 많은 정보를 인코딩할 수 있게 한다. 실험 결과는 다중 레벨 네트워크가 이진 대비 약 2배 이상의 기억 용량을 보이며, 회수 정확도 역시 95% 이상을 유지함을 보여준다.

결론적으로, 본 논문은 Hebbian 기반 B‑Matrix에 델타 학습을 결합함으로써 기억 용량과 회수 성능을 동시에 향상시킬 수 있음을 입증한다. 활성 부위 모델과 다중 레벨 확장은 실제 뇌의 국소화된 기억 저장 메커니즘과 유사한 구조적 효율성을 제공하며, 향후 대규모 연관 기억 시스템 설계에 중요한 이론적 토대를 제공한다.