노르아드레날린 영감의 동적 게인 스케일링으로 연속 학습의 안정성 격차 해소

초록

본 논문은 연속 학습에서 작업 전환 시 발생하는 일시적 성능 저하인 ‘안정성 격차’를 최소화하기 위해, 신경계의 노르아드레날린성 게인 변동을 모방한 두 단계 최적화 기법인 동적 게인 스케일링(Dynamic Gain Scaling, DGS)을 제안한다. DGS는 학습률을 효과적으로 조절하고 손실 지형을 평탄화함으로써 빠른 적응과 장기 기억 보존을 동시에 달성한다. MNIST, CIFAR‑10/100, mini‑ImageNet의 도메인·클래스 증분 실험에서 기존 MSGD·Adam·SGD 대비 안정성 격차를 현저히 감소시키면서 전체 정확도는 유지한다.

상세 분석

본 연구는 연속 학습에서 ‘안정성 격차’가 최적화 역학, 즉 파라미터가 급격히 변하는 작업 경계에서 손실 최소화 경로를 벗어나 발생한다는 점에 주목한다. 기존 모멘텀‑SGD와 Adam은 암묵적인 다중 시간척도 효과를 제공하지만, 모멘텀 항이 급격한 손실 변화에 과도하게 반응해 오버슈팅을 일으키고, 이는 곧 일시적 성능 저하로 이어진다. 논문은 이를 생물학적 메커니즘, 즉 노르아드레날린성 신경계에서 불확실성에 반응해 일시적으로 뉴런의 게인을 상승시키는 현상을 수학적으로 모델링한다.

핵심 아이디어는 파라미터 (w)와 게인 (g)를 결합해 효과적 가중치 (W = g \cdot w)를 정의하고, 게인 변동을 두 성분으로 분해한다는 것이다.
\