뇌를 닮은 자가 진화 신경망 LuminaNet의 설계와 성능

초록

본 논문은 뇌의 구조·발달 메커니즘을 모방한 새로운 패러다임 Brain‑like Neural Network(BNN)를 제안하고, 컨볼루션·셀프‑어텐션 없이 스스로 아키텍처를 변형·확장하는 LuminaNet을 구현한다. CIFAR‑10 이미지 분류와 TinyStories 텍스트 생성에서 기존 CNN·MLP·ViT 모델을 능가하는 정확도·퍼플렉시티를 기록했으며, 자가‑분할·성장·연결·가지치기 네 가지 진화 연산을 통해 토폴로지가 지속적으로 진화한다는 실험적 증거를 제시한다.

상세 분석

본 연구는 인공 신경망이 인간 뇌와 근본적으로 다른 점—정적 구조, 중앙집중식 파라미터 업데이트, 설계자의 사전 인덕티브 바이어스—을 지적하고, 이를 해소하기 위한 새로운 패러다임 BNN을 정의한다. BNN은 (1) 인간이 설계하지 않은 비정형 아키텍처, (2) 뇌의 구조적·연산적 제약을 모방한 설계 원칙, (3) 자율적 진화 메커니즘, (4) 높은 해석 가능성을 핵심 특성으로 삼는다. 이러한 정의를 구체화한 것이 LuminaNet이며, 핵심 구성 요소는 ‘Neuron Cluster(NC)’이다. 각 NC는 입력층(IL)과 뉴런층(NL)로 구성되고, 통신층(CL)을 통해 다른 클러스터와 피드포워드·피드백·재귀 연결을 형성한다.

진화 연산은 네 가지로 구분된다. ‘Splitting’은 기존 클러스터의 가중치를 절반씩 복제해 새로운 클러스터를 생성하고, ‘Growth’는 뉴런 수를 수평적으로 확장한다. ‘Connection’은 다른 클러스터로부터 선형 변환을 적용한 신호를 받아 평균화함으로써 시냅스 강도를 모사한다. ‘Pruning’은 프뢰베니우스 노름을 기준으로 약한 연결을 제거한다. 이러한 연산은 각 클러스터의 활성도 분산(v)을 기준으로 확률적으로 선택되며, 고분산 클러스터는 분할·연결, 저분산 클러스터는 성장·가지치기의 대상이 된다.

전달 메커니즘으로 제안된 ‘Two‑Pass Forward’는 첫 번째 패스에서 순차적으로 피드포워드 연결을 계산하고, 두 번째 패스에서 현재까지 계산된 피드포워드와 사후에 등장한 피드백 연결을 동시에 활용한다. 이를 통해 네트워크는 동적으로 순환·피드백 회로를 형성하고, 학습 과정 중 토폴로지가 지속적으로 재구성된다.

실험 결과는 두 가지 측면에서 의미가 있다. 첫째, CIFAR‑10에서 LuminaNet‑10(0.36 M 파라미터)은 LeNet‑5와 AlexNet을 각각 11.19 %·5.46 % 능가했으며, 파라미터가 1 M 수준인 모델들보다도 경쟁력을 보였다. 둘째, TinyStories 텍스트 생성에서는 단일 레이어 GPT‑2와 동등한 퍼플렉시티(8.4)를 달성하면서 연산량을 25 %·메모리를 50 % 절감했다. 또한, ablation 연구에서 클러스터 자체만 남겼을 때와 연결만 제거했을 때 성능 급락을 보이며, 복합 토폴로지가 성능 향상의 핵심임을 확인했다.

이러한 결과는 인공 신경망이 사전 설계된 구조에 의존하지 않고, 데이터와 학습 과정에서 스스로 구조를 탐색·최적화할 수 있음을 실증한다. 특히, 뇌의 발달 과정에서 관찰되는 ‘신경 가소성’과 ‘시냅스 재구성’ 메커니즘을 수학적으로 모델링함으로써, 향후 신경과학·인공지능 융합 연구에 새로운 방향을 제시한다.