신경조절 기반 Krotov Hopfield 으로 RBM 정확도와 견고성 향상

초록

본 논문은 Krotov‑Hopfield(KH) 학습 규칙을 제한 볼츠만 머신(RBM)에 적용해 전역 경쟁 메커니즘을 도입함으로써, 기존 얕은 RBM보다 재구성 오류와 분류 정확도에서 우수한 성능을 보이며 초기 가중치와 과적합에 대한 강인성을 크게 향상시켰음을 실험적으로 입증한다.

상세 분석

KH 알고리즘은 BCM 이론에서 파생된 3‑factor 학습 규칙으로, 각 포스트시냅스 뉴런의 입력 전류 순위를 기준으로 가장 큰 전류를 받은 뉴런에만 순수 Hebbian 강화(g = 1)를 적용하고, 그 바로 아래 ℓ개의 뉴런에는 반Hebbian 억제(g = ‑Δ)를, 나머지는 업데이트를 하지 않는다. 이렇게 전역적인 경쟁 신호가 가중치 업데이트에 곱해지면, 명시적인 층간 연결이 없는 RBM의 은닉층 내에서 간접적인 억제 효과가 발생한다. 논문에서는 이를 “간소화된 주의(attention) 메커니즘”이라 부으며, 실제로 가중치 업데이트 식(6‑8)을 통해 학습률 ε와 함께 입력 전류 I에 비례하는 가변 학습률 형태로 구현한다.

학습 과정은 기존 CD‑k(Contrastive Divergence) 절차 뒤에 KH 업데이트를 삽입하는 두 단계(θ_KH = θ + δθ_KH, θ_{t+1}=θ_KH‑η∇L)로 구성된다. 여기서 δθ_KH는 식(10)의 ξ_t 로 표현되며, 이는 RBM의 표준 그래디언트와 거의 직교하는 방향을 갖는 것이 실험적으로 확인되었다. 이러한 “노이즈‑와‑유사” 효과는 단순 난수 교체 실험에서 재현되지 않았으며, 실제로는 경쟁‑유도된 가중치 재배치를 통해 은닉 유닛들의 수용장(receptive field) 중복을 감소시켜 모델의 표현력을 효율적으로 확장한다.

실험에서는 MNIST 이진화 데이터에 대해 은닉 유닛 수 M=100, 500을 사용하고, 초기화 방법으로 표준 정규분포와 LeCun 초기화를 비교하였다. KH‑TD(Top‑Down) 방식이 BU(Bottom‑Up)보다 약간 우수했으며, ε는 에포크 진행에 따라 ε₀(1‑epoch/S)^{3/2} 로 초기에 크게, 이후 점진적으로 감소시켜 “annealed” 스케줄을 적용하였다. 결과적으로 KH‑RBM은 모든 초기화 조건에서 검증 데이터에 대한 재구성 MSE와 교차 엔트로피가 표준 RBM보다 낮았으며, 특히 초기 가중치에 민감한 표준 RBM과 달리 학습 안정성이 크게 향상되었다. 또한 KH‑모듈레이션을 빠르게 종료시키는(스케줄 S ≤ 100) 경우에도 수렴 속도가 빠르면서 최종 성능이 유지되는 것을 확인하였다. 이러한 결과는 전역 경쟁 신호가 RBM의 에너지 지형을 새로운 최소점으로 유도해 과적합을 억제하고, 제한된 파라미터 수에서도 높은 일반화 능력을 제공함을 시사한다.