생물학적 영감을 받은 인공 뉴런 어셈블리 정규화 BEAN

본 논문은 딥러닝 모델, 특히 다층 퍼셉트론(MLP)과 같은 전통적인 완전 연결 신경망이 같은 층에 속한 뉴런들을 조건부 독립적으로 취급함으로써 발생하는 해석 불가능성, 모듈성 결여, 그리고 대규모 데이터 의존성 문제를 지적한다. 뇌에서는 뉴런들이 강한 시냅스 연결을 통해 ‘셀 어셈블리(cell assembly)’라는 집단을 형성하고, 이 집단이 공동 의미를 공유하며 인지·기억에 핵심적인 역할을 한다는 신경과학적 사실을 바탕으로, 저자들은 이러한 생물학적 메커니즘을 인공 신경망에 도입하고자 한다. 제안된 BEAN(Biologically‑Enhanced Artificial Neuronal assembly) 정규화는 두 가지 핵심 구성 요소로 이루어진다. 첫 번째는 ‘Layer‑wise Neuron Correlation’이다. 이는 동일 층에 있는 뉴런 i와 j가 다음 층의 뉴런 k에 대한 가중치 패턴을 얼마나 유사하게 공유하는지를 측정한다. 구체적으로, 가중치 행렬 W^{(l+1)}에 대해 하이퍼파라미터 γ를 이용해 tanh 함수를 적용하고 절댓값을 취해 연결 강도 f(W)∈