생체 영감 학습으로 MNIST 분류 효율성 극대화

초록

본 논문은 뇌의 구조적 가소성을 모방한 학습 규칙을 제안하고, 이를 MNIST 숫자 분류에 적용해 과잉 파라미터화를 자연스럽게 억제하면서 정확도와 저장 효율성을 동시에 향상시킨다. 정보 이론적 분석을 통해 비활성 시냅스 수 대비 정보 전달량을 정량화하고, 기존 역전파와 비교해 적은 시냅스로도 경쟁력 있는 성능을 보임을 입증한다.

상세 분석

이 연구는 현재 딥러닝 모델이 겪는 과잉 파라미터화 문제를 뇌의 구조적 플라스티시티(Structural Plasticity) 개념으로 해결하려는 시도이다. 저자들은 경쟁적 Hebbian 플라스틱과 가중치 교란(Weight Perturbation, WP) 메커니즘을 결합한 학습 규칙을 설계했으며, 이는 시냅스의 비활성화를 자연스럽게 유도한다. 수식 (1)‑(4)에서 보듯, 입력‑출력 상관관계를 Hebbian 방식으로 강화하면서, 오류 기반 교란을 통해 성능 향상 방향을 탐색한다. 특히, WP는 오류 차이를 기반으로 시냅스 변동을 조절함으로써 전통적인 경사 하강법이 갖는 전역 최적화 편향을 완화한다.

정보 이론적 측면에서는 Tishby‑Zaslavsky의 마코프 체인 모델을 차용해 각 층을 확률 변수 T 로 보고, 변분 오토인코더(VAE) 기반 변분 정보 병목(VIB) 접근을 사용해 상호 정보 I(X;Z)를 추정한다. 여기서 Z는 숨은 레이어의 확률적 인코딩이며, 비활성 시냅스 수에 대한 정규화 지표인 Synaptic Capacity C_S = I(Z;X)/#non‑silent synapse 를 도입해 메모리 효율성을 정량화한다.

실험 결과는 세 가지 규모(10, 30, 100, 200 hidden units)에서 제시된다. 표 2‑3에 따르면, 제안 방법은 동일한 정확도를 유지하면서 I(X;Z)와 C_S 값이 크게 감소한다. 예를 들어 100 hidden units 경우, BP는 435.93 bits의 I와 5.56×10⁻³ bits/synapse의 C_S 를 보이는 반면, 저자 방법은 198.33 bits와 2.53×10⁻¹ bits/synapse 로, 정보 압축 효율이 현저히 높다. 이는 비활성 시냅스가 줄어들어 에너지 소비와 메모리 요구량이 감소함을 의미한다.

또한, 학습 시간 측면에서 RTX 4080, H100, A100 등 다양한 GPU에서 epoch당 평균 2‑3초 수준을 기록, 실용적인 학습 속도를 유지한다. 저자는 이와 같은 효율성을 LLM과 같은 대규모 모델에 확장 가능하다고 주장한다.

비판적으로 보면, 실험은 MNIST의 일부 클래스(1,2,6)만을 사용했으며, 전체 10클래스에 대한 일반화 검증이 부족하다. 또한, 제안 규칙이 복잡한 비선형 구조(예: CNN, Transformer)에서 어떻게 동작할지에 대한 탐구가 없으며, 현재는 단일 은닉층 피드포워드 네트워크에 국한된다. 가중치 초기화와 학습률 등 하이퍼파라미터에 대한 민감도 분석도 제한적이다. 그럼에도 불구하고, 뇌의 구조적 플라스틱성을 수학적으로 모델링하고, 정보 이론적 메트릭으로 정량화한 점은 학계에 새로운 시각을 제공한다.

요약하면, 이 논문은 과잉 파라미터화와 에너지 비효율성을 해결하기 위한 생체 영감 학습 프레임워크를 제시하고, 정보 이론적 분석을 통해 그 효율성을 입증한다. 향후 연구에서는 더 복잡한 아키텍처와 다양한 데이터셋에 대한 확장성을 검증함으로써 실용성을 높일 필요가 있다.