지속학습을 위한 회귀형 특징 추정

초록

본 논문은 연속적인 작업 학습 중 발생하는 파괴적 망각을 완화하기 위해, 현재 모델의 특징을 이전 작업의 특징 공간으로 역변환하는 ‘Retrospective Feature Estimation(RFE)’ 프레임워크를 제안한다. 가벼운 매핑 네트워크인 retrospector 모듈을 순차적으로 연결해 새로운 작업 학습 후에도 과거 작업의 특징을 복원하고, 이를 통해 기존 재현, 정규화, 구조 확장 방식과 경쟁력 있는 성능을 보인다.

상세 분석

RFE는 기존 CL 접근법이 ‘학습 중에 파라미터 변화를 억제’하거나 ‘과거 데이터를 저장해 재학습’하는 방식과 근본적으로 다른 패러다임을 제시한다. 핵심 아이디어는 각 새로운 작업 t에 대해 작은 매핑 네트워크 r_t 를 학습시켜, 최신 특징 추출기 f_t 가 생성한 특징 f_t(x) 를 바로 이전 작업 t‑1 의 특징 공간 f_{t‑1}(x) 로 정렬하는 것이다. 이 매핑은 L2 손실 L_FE = E_x‖r_t(f_t(x),x)‑f_{t‑1}(x)‖² 로 정의되며, 과거 데이터 없이도 현재 작업 데이터만을 이용해 학습한다.

특징 공간을 역으로 정렬함으로써, 모델은 새로운 작업을 학습하면서도 이전 작업의 특징 표현을 ‘복원’할 수 있다. 복원된 특징은 기존의 task‑specific classifier head w_{t‑1} 에 그대로 입력될 수 있어, 별도의 파라미터 고정이나 메모리 버퍼 없이도 과거 작업에 대한 정확도를 유지한다.

RFE는 두 가지 설정을 지원한다. ① RFE (데이터 없이) – 오직 이전 특징 추출기 f_{t‑1} 와 현재 작업 데이터만 사용, 메모리 요구가 최소. ② RFE‑P (소량의 과거 샘플 보관) – 이전 작업의 일부 샘플을 저장해 매핑 정확도를 향상, 프라이버시와 메모리 효율 사이의 트레이드오프 제공.

실험에서는 CIFAR‑10, CIFAR‑100, Tiny‑ImageNet 등 대표적인 CL 벤치마크에서 기존 재현 기반(A‑GEM, DER), 정규화 기반(EWC, SI) 및 구조 확장 기반(Progressive Nets, Sup‑Mask) 방법들과 비교하였다. 결과는 특히 메모리 제한 상황에서 RFE‑P 가 재현 기반과 동등하거나 약간 앞서는 성능을 보이며, 순수 RFE 도 메모리 사용이 전혀 없는 경우에도 경쟁력 있는 정확도를 유지함을 보여준다.

또한, RFE는 기존 학습 파이프라인에 거의 영향을 주지 않는다. 새로운 작업 학습이 끝난 뒤 retrospector 모듈을 추가·학습하면 되므로, 기존 최적화 루틴을 그대로 사용할 수 있다. 이는 실제 서비스 환경에서 모델 업데이트 비용을 최소화하면서도 지속학습 능력을 확보하고자 하는 경우 큰 장점으로 작용한다.

한계점으로는 retrospector 모듈이 누적될수록 추론 시 연산 비용이 증가한다는 점이며, 매우 긴 작업 시퀀스에서는 모듈 체인 관리가 필요하다. 또한, 매핑 손실이 L2에만 의존하므로 복잡한 비선형 변환을 완벽히 복원하지 못할 가능성이 있다. 향후 연구에서는 모듈 경량화, 동적 모듈 선택, 비선형 손실 함수 도입 등을 통해 이러한 문제를 보완할 여지가 있다.