경험 기반 층화 시각 기억 모델의 부품 기반 표현 형성

초록

본 논문은 시각 피질이 물체를 부분(파트)들의 조합으로 인코딩한다는 가설을 바탕으로, 느린 양방향 시냅스 가소성과 홈오스테이시스가 결합된 자기조직화 과정을 통해 계층적 기억 구조가 어떻게 형성되는지를 제시한다. 인간 얼굴 인식을 예시로, 비지도 증분 학습 상황에서 하위 층은 얼굴 부위 특징과 그 관계를, 상위 층은 인물 정체성을 각각 희소하게 저장한다는 결과를 보여준다.

상세 분석

이 연구는 시각 피질의 부품 기반(Parts‑based) 코딩이 어떻게 메모리 구조에 구현될 수 있는지를 신경역학적 메커니즘 수준에서 탐구한다. 핵심은 두 가지 느린 조절 메커니즘—양방향 시냅스 가소성(시냅스 강화와 약화)과 뉴런 활동의 홈오스테이시스(목표 평균 발화율 유지)—가 빠른 스파이크‑레이트 동역학 위에 겹쳐 작동한다는 점이다. 이때 승자독점(WTA) 회로가 진동 리듬(예: 감마‑리듬)과 동기화되어, 순간적인 경쟁‑협력 관계를 형성한다. 경쟁 단계에서는 가장 강하게 활성화된 유닛 군집이 선택되고, 협력 단계에서는 선택된 유닛들의 시냅스가 경험에 따라 점진적으로 강화된다. 이러한 순환 과정은 입력 이미지가 반복적으로 제시될 때, 국소적인 특징(예: 눈, 코, 입)의 패턴이 하위 메모리 층에 희소하게 저장되고, 이들 특징 간의 공간적 관계가 시냅스 연결망을 통해 암묵적으로 코딩된다. 상위 층은 하위 층의 활성화 패턴을 집합적으로 받아, 특정 조합이 반복될 때마다 고유한 ‘아이덴티티’ 노드가 형성된다. 즉, 하위 층은 “부품”을, 상위 층은 “부품들의 조합”을 각각 담당한다.

모델의 학습은 완전 비지도 방식이며, 입력이 순차적으로 추가될 때도 기존 메모리 구조를 파괴하지 않는다. 이는 시냅스 가중치가 작은 변동으로 조정되는 ‘점진적’ 학습 규칙과, 전체 네트워크의 평균 발화율을 일정하게 유지하려는 홈오스테이시스 규칙이 상호 보완적으로 작용하기 때문이다. 결과적으로 메모리 트레이스는 매우 희소(sparse)해지며, 이는 저장 용량 효율성과 빠른 검색 속도를 동시에 제공한다.

실험에서는 Labeled Faces in the Wild(LFW) 데이터셋을 사용해, 얼굴 이미지가 무작위 순서로 지속적으로 입력될 때 모델이 어떻게 새로운 얼굴을 기억하고, 기존 얼굴을 정확히 재현하는지를 평가했다. 하위 층의 시냅스 가중치는 눈, 코, 입 등 국소 특징에 국한된 클러스터를 형성했고, 상위 층에서는 각 인물에 대응하는 독립적인 뉴런이 활성화되는 패턴을 보였다. 재현 테스트에서는 부분적인 마스크가 적용된 얼굴에서도 전체 얼굴을 복원할 수 있었으며, 이는 부품 기반 표현이 부분 손상에 강인함을 시사한다. 또한, 활성화 스파이크 수가 전체 뉴런 대비 5~10% 수준으로 매우 낮아, 에너지 효율적인 코딩 메커니즘임을 확인했다.

이 모델은 기존의 딥러닝 기반 얼굴 인식 시스템과는 달리, 명시적인 레이블 없이도 점진적 학습이 가능하고, 메모리 트레이스가 해석 가능(interpretability)하다는 장점을 가진다. 그러나 현재 구현은 비교적 작은 네트워크 규모와 단일 감각 모달리티에 국한돼 있어, 복합적인 물체 인식이나 다중 감각 통합에 대한 확장 가능성은 추가 연구가 필요하다.