연속학습 전 사전학습 모델 적응으로 플라스티시티 강화

초록

본 논문은 사전학습 모델(PTM)을 매 순차 과제 앞에 적응시키는 ACL 프레임워크를 제안한다. 클래스 프로토타입을 기준으로 임베딩을 정렬·분리하는 손실을 통해 플라스티시티를 높이고 안정성을 유지한다. 다양한 연속학습 벤치마크와 기존 방법에 적용한 실험에서 성능 향상을 입증한다.

상세 분석

ACL은 기존 PTM 기반 연속학습이 겪는 안정성‑플라스티시티 딜레마를 두 단계 프로세스로 해결한다. 첫 번째 단계인 적응 단계에서는 현재 과제의 데이터 Dk 를 이용해 백본 ϕ 를 미세조정한다. 이때 손실 LACL 은 각 샘플의 임베딩을 해당 클래스 프로토타입 pyi 와 높은 코사인 유사도로 끌어당기고, 다른 클래스 프로토타입 pj 와는 낮은 유사도로 밀어낸다. 수식 (3) 은 온도 τ 로 스케일링된 소프트맥스 형태이며, 프로토타입은 기존 백본 ϕ 로부터 평균을 취해 ℓ2 정규화한다.
이 손실의 플라스티시티 기여는 Proposition 1 로 증명된다. LACL 값이 log 2 이상이면 오분류가 발생한다는 마르코프 부등식을 이용해 기대 손실을 최소화하면 현재 과제의 오류 상한을 직접 낮출 수 있음을 보인다. 따라서 적응 단계는 새로운 과제에 대한 분류 정확도를 향상시킨다.
안정성 측면에서는 Lemma 1·2 와 Proposition 2 를 통해 LACL 이 백본 변화를 제한하는 암묵적 정규화 역할을 함을 보인다. 임베딩 변화 ‖ϕ∗(x)−ϕ(x)‖² 은 프로토타입을 매개로 두 거리의 합으로 상한이 잡히며, LACL 은 ‖ϕ∗(x)−py‖² 를 최소화한다. 결과적으로 백본이 크게 변형되는 것을 억제해 이전 과제에 대한 지식을 보존한다.
전체 프레임워크는 각 과제마다 (1) 적응 단계 → (2) 핵심 학습 단계 로 구성된다. 적응 단계에서 얻은 ϕ∗k−1 은 고정하고, 이후 CL 방법(F, 예: L2P, DualPrompt 등)과 경량 모듈 Θ 를 사용해 분류 헤드 C 를 학습한다. 이렇게 하면 기존 CL 방법이 갖는 파라미터 효율성은 유지하면서도, 적응된 특징 공간 덕분에 플라스티시티가 크게 향상된다.
실험에서는 ImageNet‑A‑Inc20, CIFAR‑100 등 다양한 시나리오에서 기존 방법 대비 평균 정확도, 플라스티시티, 안정성 지표가 모두 개선됨을 보고한다. 특히 프로토타입 기반 적응이 단순한 파인튜닝보다 메모리와 연산 비용이 적으며, replay 기반 대비 안정성 손실이 현저히 낮다.
한계점으로는 프로토타입 계산이 클래스 수에 비례해 비용이 증가할 수 있고, 현재는 ℓ2 정규화된 코사인 분류기에 최적화돼 있어 다른 거리 기반 분류기에 적용 시 추가 조정이 필요할 수 있다. 또한 적응 단계가 매 과제마다 추가 학습을 요구하므로 전체 학습 시간은 늘어날 가능성이 있다.