점진적 변화 속 신경망의 가소성 유지

초록

본 논문은 연속학습에서 관찰되는 ‘가소성 손실’ 현상이 급격한 작업 전이에서 비롯된 인공적인 현상임을 밝히고, 입력·출력 보간과 작업 샘플링을 통해 점진적으로 변하는 환경을 시뮬레이션함으로써 가소성 손실을 크게 완화할 수 있음을 이론·실험적으로 입증한다.

상세 분석

본 연구는 연속학습 분야에서 최근 주목받고 있는 가소성 손실 현상을 재조명한다. 기존 연구들은 라벨 무작위 교체, 픽셀 순열 등 급격한 작업 전이를 전제로 실험을 설계했으며, 이러한 설정이 실제 세계의 점진적인 데이터 분포 변화와는 괴리가 있다는 점을 지적한다. 저자들은 두 가지 핵심 아이디어로 접근한다. 첫째, 입력·출력 보간(interpolation) 기법을 도입해 연속적인 작업 사이에 부드러운 전이를 만든다. 예를 들어, 라벨이 바뀌는 작업에서는 라벨을 균등 분포와 섞어 단계적으로 변환하고, 픽셀 순열 작업에서는 두 순열된 이미지의 픽셀을 선형 결합한다. 둘째, 작업 샘플링(task sampling) 방식을 제안해 두 작업의 데이터를 비율에 따라 섞어 중간 데이터셋을 구성한다. 이 방법은 입력·출력 간 직접적인 대응 관계가 없을 때도 적용 가능하다.

이론적 분석에서는 β‑smooth와 (r, µ)-locally strongly convex 조건을 가정하고, 단계 크기 η가 충분히 작을 경우 gradient descent가 기존 로컬 최소점의 수렴 영역을 벗어나지 않으며, 점진적인 손실 함수 변화를 따라 파라미터가 새로운 작업에 적응한다는 Lemma를 제시한다. 즉, 급격한 손실 지형 변화가 파라미터를 불리한 지역 최소점에 가두는 현상이 완화된다.

실험은 이미지 분류(랜덤 라벨, 랜덤 픽셀 순열)와 텍스트 생성(랜덤 Seq2Seq, 빅그램 암호) 네 가지 벤치마크에서 수행되었다. 급격한 전이에서는 학습 정확도가 급격히 감소하고, 일반화 성능도 급락하는 반면, 보간·샘플링을 적용한 점진적 전이에서는 학습 손실이 꾸준히 감소하고, 최종 정확도와 일반화 점수가 기존 완화 기법(가중치 정규화, 옵티마이저 리셋 등)과 동등하거나 더 우수했다. 특히, 입력·출력 보간이 가능한 경우에는 파라미터가 손실 지형을 부드럽게 따라 이동해 기존 로컬 최소점에 머무르면서도 새로운 작업에 적합한 방향으로 미세 조정되는 현상이 관찰되었다.

결과적으로, 가소성 손실은 급격한 작업 전이가 만든 인위적인 현상이며, 실제 환경처럼 점진적으로 변하는 데이터 흐름에서는 크게 문제가 되지 않는다. 급격한 전이가 불가피한 로봇 제어와 같은 상황에서도 제안된 보간·샘플링 기법이 간단하면서도 효과적인 완화 수단이 될 수 있다.