온라인 비음수 행렬분해 기반 헤비안 안티헤비안 네트워크의 군집화와 희소 특징 발견

초록

본 논문은 단일층 신경망이 스트리밍 데이터의 유사도 행렬에 대해 온라인 대칭 비음수 행렬분해(SNMF)를 수행한다는 가설에서 출발한다. SNMF 비용함수를 기반으로 국소적인 학습 규칙을 갖는 생물학적으로 타당한 네트워크를 유도하고, 이 네트워크가 부드러운 군집화와 희소 특성 추출을 동시에 수행함을 실험적으로 보인다. 또한 신경 활동의 일극성, 시냅스 가중치의 비음수성, 누적 활동에 비례하는 학습률 등 실제 신경계의 여러 특성을 재현한다.

상세 요약

논문은 먼저 대칭 비음수 행렬분해(SNMF)의 목표 함수를 정의한다. 입력 데이터 X∈ℝ^{N×T}가 주어지면, 유사도 행렬 S=XXᵀ를 비음수 행렬 W∈ℝ^{N×K}와 H∈ℝ^{K×T}의 곱으로 근사한다( S≈WH ). 여기서 K는 잠재 차원이며, W는 ‘신경 가중치’ 행렬, H는 ‘활동’ 행렬에 해당한다. 기존의 배치형 NMF와 달리 온라인 설정에서는 한 번에 하나의 데이터 포인트 x_t를 처리하고, 그에 대응하는 h_t를 즉시 업데이트한다. 비용 함수는 ‖xxᵀ−Wh_th_tᵀ‖_F²를 최소화하는 형태이며, 이를 미분하면 h_t에 대한 업데이트는 비음수 투사와 학습률 η_t에 의해 결정된다. 학습률 η_t는 누적 활동 ‖h_t‖₁에 역비례하도록 설계돼, 활동이 많아질수록 학습이 점점 느려지는 ‘활동 의존형’ 규칙을 만든다. 이는 실제 신경계에서 관찰되는 ‘활동 의존 가소성( activity‑dependent plasticity)’과 일맥상통한다.

다음으로, 신경 가중치 W의 업데이트는 Hebbian(동시 활성화 강화)와 Anti‑Hebbian(동시 활성화 억제) 두 가지 성분으로 분해된다. 구체적으로, W←W+η_t (x_t h_tᵀ−W h_t h_tᵀ) 로 표현되며, 첫 번째 항은 입력과 활동의 동시 발생을 강화하는 Hebbian 학습, 두 번째 항은 활동 간 상관을 억제하는 Anti‑Hebbian 학습이다. 두 항 모두 비음수 투사를 적용해 가중치가 음수가 되지 않도록 보장한다. 이러한 로컬 규칙은 시냅스 전후 뉴런이 각각 자신의 전위와 후위 신호만을 이용해 가중치를 조정한다는 점에서 생물학적 타당성을 갖는다.

알고리즘의 수렴 특성을 분석하면, 온라인 업데이트가 평균적으로 배치형 SNMF의 최적해에 수렴함을 보인다. 특히, 누적 학습률이 ∑_t η_t = ∞ 이면서 ∑_t η_t² < ∞ 를 만족하도록 설계하면, 확률적 최적화 이론에 따라 거의 확실히 수렴한다는 것이 증명된다.

실험에서는 MNIST와 CIFAR‑10 같은 이미지 데이터셋을 사용해 두 가지 주요 성능을 평가한다. 첫째, 네트워크는 각 입력을 K개의 클러스터 중 하나에 부드럽게 할당한다(soft clustering). 클러스터 중심은 W의 열벡터가 되며, 이는 입력 공간에서 의미 있는 ‘프로토타입’ 역할을 한다. 둘째, 학습된 W는 입력의 희소한 구조를 반영한다. 예를 들어, MNIST에서 W의 열은 손글씨 숫자의 기본 스트로크를 나타내는 ‘스파스 필터’가 된다. 이는 전통적인 스파스 코딩(sparse coding)과 유사하지만, 여기서는 비음수 제약과 온라인 학습이라는 추가 제약이 있다.

또한, 신경 해부학적 관점에서 몇 가지 흥미로운 일치점을 발견한다. 뉴런의 활동 h_t는 항상 비음수이며, 이는 실제 신경이 발화할 때 전압이 양의 방향으로만 변한다는 ‘단극성(unipolar)’ 특성과 일치한다. 시냅스 가중치 W 역시 비음수이므로 억제성 시냅스가 별도로 모델링되지 않는다. 이는 억제성 뉴런이 별도 층에 존재한다는 전통적인 모델과는 다르지만, 네트워크 전체가 균형 잡힌 억제-흥분을 구현하도록 설계될 수 있다.

마지막으로, 저자들은 이 모델이 기존의 신경 과학 이론과 인공 신경망 설계 사이의 다리를 놓을 수 있다고 주장한다. 온라인 SNMF는 데이터 스트림에 실시간으로 적응하면서도, Hebbian/Anti‑Hebbian 로컬 규칙을 통해 학습이 이루어지므로, 대규모 뇌 시뮬레이션이나 생물학적 영감을 받은 AI 시스템에 적용하기에 적합하다.