다중 신경조절 메커니즘을 활용한 인공신경망의 적응·연속 학습 강화

초록

본 논문은 도파민, 아세틸콜린, 세로토닌, 노르아드레날린 등 네 종류의 신경조절 물질이 뇌에서 수행하는 다중 스케일 조절 메커니즘을 분석하고, 이를 인공신경망(ANN)의 지속적 학습과 재학습 능력 향상에 적용하는 방법을 제시한다. 특히 보상 기반 학습(도파민)과 인지 유연성(노르아드레날린)을 결합한 모델을 Go/No‑Go 과제에 적용해 기존 방법 대비 망각 감소와 적응 속도 향상을 실증한다.

상세 분석

이 연구는 신경과학에서 밝혀진 네 가지 주요 신경조절제의 기능을 체계적으로 정리하고, 각각이 시간·공간적 스케일에서 어떻게 시냅스 가소성, 뉴런 흥분성, 네트워크 다이내믹스를 조절하는지를 상세히 설명한다. 도파민(DA)은 보상 예측 오류 신호를 전달해 강화 학습을 촉진하고, 시냅스 가중치 업데이트의 학습률을 동적으로 조절한다는 점에서 기존의 고정 학습률 기반 SGD와 차별화된다. 아세틸콜린(ACh)은 주의와 탐색 행동을 조절하며, 학습 초기에 높은 가소성을 유지하면서도 과잉 학습을 방지하는 ‘탐색‑수렴’ 전환 메커니즘을 제공한다. 세로토닌(5‑HT)은 불확실성 및 위험 상황에서 행동 억제와 장기 기억 강화에 관여해, 메타‑학습 단계에서 파라미터 안정화 역할을 수행한다. 노르아드레날린(NA)은 급격한 환경 변화에 대한 ‘인지적 유연성’을 제공하며, 급변 상황에서 기존 가중치를 일시적으로 억제하고 새로운 입력에 대한 빠른 재조정을 가능하게 한다.

논문은 이러한 다중 신경조절 효과를 ‘many‑to‑one’ 매핑 개념으로 재구성한다. 즉, 하나의 작업(task) 수행에 여러 조절제가 동시에 작용해 복합적인 학습 신호를 생성한다는 점을 강조한다. 이를 ANN에 적용하기 위해 저자는 세 가지 전략을 제안한다. 첫째, 신경조절 파라미터화: 각 레이어 혹은 모듈에 별도 조절 변수(예: DA‑gain, NA‑flexibility)를 도입해 학습률, 가중치 감쇠, 활성화 함수 스케일을 동적으로 변환한다. 둘째, 다중 스케일 업데이트: 짧은 시간 스케일(시냅스 수준)에서는 DA‑driven gradient modulation을, 중간 스케일(네트워크 수준)에서는 ACh‑driven attention mask를, 장기 스케일(모델 전체)에서는 5‑HT‑driven regularization term을 적용한다. 셋째, 작업‑비의식적 전이 메커니즘: NA‑modulated context vectors를 이용해 현재 입력이 기존 작업과 얼마나 차이가 나는지를 추정하고, 차이가 클 경우 기존 파라미터를 보호하면서 새로운 파라미터를 빠르게 학습한다.

실험에서는 Go/No‑Go 과제라는 이진 선택 시나리오에 위 메커니즘을 구현한 ‘Neuromodulated ANN’(N‑ANN)을 설계했다. DA‑driven reward signal은 정답 보상 시 가중치 업데이트를 강화하고, NA‑driven flexibility signal은 보상 변동이 감지될 때 학습률을 일시적으로 상승시켜 빠른 재학습을 가능하게 한다. 결과적으로 N‑ANN은 전통적인 EWC(Elastic Weight Consolidation)나 Replay 기반 방법에 비해 30 % 이상 낮은 망각 비율과 20 % 빠른 적응 속도를 기록했다. 또한, ACh와 5‑HT를 추가한 확장 모델은 복잡한 다중 작업 전이 상황에서도 파라미터 충돌을 최소화하며, 메타‑학습 단계에서 안정적인 성능 향상을 보였다.

이 논문은 신경조절 메커니즘을 단순히 ‘보상 신호’ 수준에 국한하지 않고, 시간·공간적 다중 스케일에서의 조절 역할을 통합적으로 모델링함으로써, 기존 연속 학습 기법이 직면한 ‘작업 경계 의존성’, ‘오라클 필요성’, ‘과적합 위험’ 등을 근본적으로 완화한다는 점에서 의미가 크다. 특히, 신경조절 변수들을 학습 가능한 파라미터로 취급하고, 이를 최적화 과정에 포함시키는 접근은 향후 neuromorphic 하드웨어와도 자연스럽게 연결될 가능성을 시사한다.