REAL: 대표성 강화 분석 학습으로 구현하는 예시‑무료 클래스 증분 학습

초록

본 논문은 기존 분석 연속 학습(ACL)의 표현력 부족과 백본 활용 한계를 극복하기 위해, 이중 스트림 기반 사전 학습과 표현 강화 증류, 그리고 다계층 특징 융합 버퍼를 결합한 REAL 프레임워크를 제안한다. SELF‑SUPERVISED 대비 지도 학습을 동시에 수행한 뒤, 두 흐름을 지식 증류로 통합해 일반·특정 지식을 모두 보유한 백본을 만든다. 이후 다중 레이어 특징을 압축·융합해 분석 학습 단계에서 보다 풍부한 피처를 제공함으로써, CIFAR‑100, ImageNet‑100, ImageNet‑1K에서 기존 예시‑무료 방법들을 크게 앞서고, 예시‑기반 방법과도 경쟁한다.

상세 분석

REAL은 기존 ACL이 “백본을 베이스 단계에서 한 번만 학습하고 이후 고정한다”는 전제 하에, 두 가지 근본적인 문제를 지적한다. 첫째, 베이스 단계에서 순수 지도 학습만 사용하면 새로운 클래스에 대한 일반화 표현이 부족해 이후 단계에서 급격한 성능 저하가 발생한다. 둘째, 기존 ACL은 최종 레이어 출력만을 이용해 선형 분류기를 학습하므로, 얕은 레이어가 제공하는 전이 가능한 일반 특징을 활용하지 못한다. 이를 해결하기 위해 REAL은 세 가지 핵심 모듈을 설계한다.

1. Dual‑Stream Base Pretraining (DS‑BPT)

   • Self‑Supervised Contrastive Learning (SSCL) 스트림: SimSiam/ BYOL과 유사한 구조로, 라벨이 없는 데이터에서 일반적인 시각적 특성을 학습한다. 이는 “General Base Knowledge (GBK)”라 명명한다.
   • Supervised Learning (SL) 스트림: 전통적인 교차 엔트로피 손실을 사용해 베이스 클래스에 대한 라벨‑지도 특징, 즉 “Supervised Feature Distribution (SFD)”을 학습한다. 두 스트림은 동일한 백본을 공유하지만 파라미터는 독립적으로 업데이트된다.

2. Representation‑Enhancing Distillation (RED)

   • SFD‑백본을 고정하고, GBK‑백본에 대해 지식 증류를 수행한다. 여기서 KL‑다이버전스 혹은 MSE 기반 손실을 사용해 GBK‑백본이 SFD‑백본이 가진 클래스‑특정 정보를 흡수하도록 유도한다. 결과적으로, GBK‑백본은 일반적인 시각적 구조와 동시에 라벨‑특정 구분력을 동시에 보유하게 된다.

3. Feature Fusion Buffer (FFB)

   • 강화된 GBK‑백본의 여러 레이어(예: conv3, conv4, conv5)를 추출하고, 1×1 컨볼루션 혹은 PCA로 차원을 압축한다. 압축된 특징 맵을 채널‑별로 평균/최대 풀링해 고정 길이 벡터로 변환한 뒤, 이를 concatenate 혹은 가중합하여 최종 피처 벡터를 만든다. 이 벡터는 Analytic Learning 단계에서 Recursive Least Squares (RLS) 기반 선형 분류기의 입력으로 사용된다.

분석 학습(Analytic Learning)과의 시너지
ACL은 RLS를 이용해 closed‑form 해를 구함으로써 “weight‑invariant” 특성을 제공한다. REAL은 백본을 고정한 채로도, FFB를 통해 제공되는 풍부한 다계층 피처가 RLS의 행렬 조건을 개선하고, 새로운 클래스에 대한 판별 경계 형성을 촉진한다. 따라서 기존 ACL이 겪던 “새로운 클래스에 대한 표현 부족”과 “백본 활용 저하” 문제를 동시에 해소한다.

실험적 검증
CIFAR‑100(20/5‑phase), ImageNet‑100(10‑phase), ImageNet‑1K(10‑phase)에서 REAL을 기존 ACL 변형(GKEAL, DS‑AL 등)과 결합했을 때 평균 정확도가 각각 3‑5%p 상승하였다. 특히, exemplar‑free 기준선 대비 Top‑1 정확도가 2‑3%p 개선됐으며, exemplar‑based 최신 방법(LUCIR, PODNet)과도 격차가 1% 이하로 축소되었다. Ablation study에서는 DS‑BPT 없이 RED만 적용하거나, FFB 없이 단일 레이어 피처만 사용할 경우 성능이 현저히 떨어짐을 확인했다.

한계와 향후 과제

• RED 단계에서 증류 손실 선택이 성능에 민감하므로, 보다 정교한 어텐션 기반 증류가 필요할 수 있다.
• FFB는 레이어 선택과 차원 압축 비율에 따라 메모리·연산 비용이 변동하므로, 경량화된 모바일 환경에선 추가 최적화가 요구된다.
• 현재는 CNN 기반 백본에 초점을 맞췄지만, Vision Transformer(ViT)와의 호환성 검증이 남아 있다.

종합하면, REAL은 “표현 강화 + 다계층 특징 융합”이라는 두 축을 통해 ACL의 근본적인 약점을 보완하고, exemplar‑free CIL 분야에서 새로운 성능 기준을 제시한다.