메포 메타 사후 정제로 재현 없는 일반 연속 학습

초록

MePo는 사전학습 데이터로부터 가짜 작업 시퀀스를 생성하고, 이중 레벨 메타러닝을 통해 사전학습된 백본을 미세 조정한다. 동시에 메타 공분산 행렬을 초기화해 두 번째 순통계 정보를 활용, 출력 정렬을 안정화한다. 결과적으로 메모리 없이도 다양한 GCL 벤치마크에서 기존 방법보다 10~15% 이상 성능을 크게 향상시킨다.

상세 분석

MePo는 기존 PTM‑기반 연속학습이 온라인 데이터스트림과 흐릿한 작업 경계라는 GCL의 두 핵심 난제를 충분히 해결하지 못한다는 점을 지적한다. 첫 번째 난제는 사전학습된 표현이 실제 연속 학습 시점에 급격히 변하는 데이터 분포에 적응하지 못한다는 것이며, 두 번째는 작업 간 라벨이 겹치면서도 테스트 시 작업 아이덴티티가 제공되지 않아 출력 레이어가 불안정해지는 문제이다. 이를 해결하기 위해 MePo는 (1) 사전학습 데이터에서 클래스별 샘플을 무작위로 추출해 가짜 작업 시퀀스를 만든다. 이 가짜 시퀀스는 실제 GCL 상황을 모방하도록 설계돼, 메타‑에폭마다 새로운 작업 집합을 구성한다. (2) 이중 레벨 메타러닝 프레임워크를 도입한다. 내부 루프에서는 가짜 작업을 순차적으로 학습해 백본 θ와 출력 파라미터 ψ를 업데이트하고, 외부 루프에서는 전체 가짜 작업에 대한 검증 셋을 이용해 공동 학습을 수행한다. 외부 루프의 목적은 순차 학습에서 발생할 수 있는 편향을 보정하고, 메타‑업데이트(θ←θ+η_meta·Δθ)로 백본을 GCL에 최적화된 초기 상태로 만든다. (3) 메타 공분산 행렬 Σ_meta를 사전학습된 특징 공간의 기하학적 구조로 초기화한다. Σ_meta는 이후 들어오는 샘플의 특징을 정규화·재구성하는 기준으로 사용돼, 라벨이 겹치는 상황에서도 로그잇 마스킹 없이 출력 정렬을 안정화한다. 이와 같은 설계는 (i) 사전학습 단계에서 한 번만 수행되는 비용으로, downstream GCL 단계에서는 추가 파라미터 튜닝 없이 빠른 적응을 가능하게 하고, (ii) 메모리와 프라이버시 위험을 초래하는 리플레이를 완전히 배제한다는 장점을 제공한다. 실험에서는 Sup‑21K, Sup‑21/1K, iBOT‑21K 등 다양한 사전학습 체크포인트와 CIFAR‑100, ImageNet‑R, CUB‑200 등 세 가지 GCL 벤치마크에서 기존 최첨단 방법 대비 12‑15%p의 절대 성능 향상을 기록했다. 특히 self‑supervised PTM에 대해서도 메타‑정제와 메타‑공분산이 효과적으로 작용해, 기존 방법이 보이는 성능 급락을 방지한다. Ablation 연구는 (a) 메타‑업데이트 없이 단순 프롬프트 튜닝만 수행했을 때의 성능 저하, (b) 메타 공분산 없이 기존 로그잇 마스크만 사용했을 때의 불안정성을 확인함으로써 각 구성 요소의 기여도를 명확히 증명한다. 전반적으로 MePo는 “사전학습 → 메타 사후 정제 → GCL”라는 새로운 파이프라인을 제시함으로써, 연속학습 분야에서 사전학습 모델을 보다 실용적으로 활용할 수 있는 길을 열었다.