클래스가 진화할 때 단계 인식 클래스 증분 학습을 위한 벤치마크와 프레임워크

초록

본 논문은 기존 클래스 증분 학습(CIL)이 간과해 온 “클래스 내부 진화” 문제를 정의하고, 이를 평가하기 위한 Stage‑Bench 데이터셋과 프로토콜을 제시한다. 또한, 초기 단계의 프로토타입을 기반으로 변형 패턴을 예측해 미래 형태를 추정하는 메모리 풀 기반 모델 STAGE를 설계하여, 클래스 간 구분과 클래스 내부 형태 유지 두 목표를 동시에 달성한다. 실험 결과 STAGE가 기존 최첨단 CIL 방법들을 크게 앞선다는 것을 입증한다.

상세 분석

이 논문은 클래스 증분 학습(CIL) 분야에 새로운 패러다임인 Stage‑CIL을 도입한다. 기존 CIL은 클래스가 시간에 따라 정적인 형태를 유지한다는 전제하에, 새로운 클래스를 순차적으로 학습하면서 이전 클래스의 표현을 보존하는 데 초점을 맞추었다. 그러나 자연계에서는 같은 의미적 클래스가 성장·변형 과정을 겪으며 형태가 크게 변한다(예: 애벌레→나비). 이러한 intra‑class evolution은 기존 CIL 메커니즘이 “클래스 파편화” 혹은 “이전 단계의 정보 소실”을 야기하게 만든다. 논문은 이를 정량화하기 위해 두 가지 새로운 메트릭을 정의한다. Inter‑F는 전통적인 클래스 간 망각을 측정하고, Intra‑F는 동일 클래스 내에서 초기 단계와 최종 단계 사이의 정확도 감소율을 정규화한 값으로, 단계‑인식 학습의 핵심 과제를 직접적으로 드러낸다.

Stage‑Bench은 10개의 도메인(식물, 동물, 물체 등)에서 각각 20개의 클래스를 선정하고, 각 클래스에 대해 Stage‑0(초기)와 Stage‑1(진화) 두 단계의 이미지(총 18,895장)를 제공한다. 데이터는 공개 데이터셋과 웹 수집 이미지에 대해 전문가 검수를 거쳐 라벨링 정확성을 확보했으며, (B‑m, Inc‑n)×S₂ 형태의 표준 프로토콜을 제공한다. 이는 기존 CIL 벤치마크와 달리 “클래스 내부 진화”를 명시적으로 포함함으로써, 연구자들이 intra‑class forgetting을 별도로 측정하고 개선할 수 있게 한다.

제안된 STAGE 모델은 크게 두 단계로 구성된다. 첫 번째 단계에서는 각 클래스의 초기 단계 샘플을 이용해 시각‑언어 백본을 고정하고, 클래스‑별 프로젝션 레이어를 학습해 안정적인 앵커 프로토타입 p₀ᶜ를 만든다. 여기서 텍스트 프롬프트와의 cross‑modal attention을 통해 시각적 평균과 의미적 정보를 융합한다. 두 번째 단계에서는 고정된 앵커를 기반으로 Evolution‑aware Memory Pool(P)에서 k개의 변형 패턴을 선택하고, attention 메커니즘을 통해 변형 컨텍스트 cᶜ,ᵢ를 만든다. 이후 Residual 네트워크 E를 통해 p₀ᶜ에 변형 컨텍스트를 더해 다음 단계의 특징 ˆxₛ₊₁ᵢ를 예측한다. 이 과정은 “예측‑분류(predict‑then‑classify)” 파이프라인을 구현함으로써, 새로운 단계의 데이터를 직접 학습하지 않아도 기존 앵커가 변형을 반영하도록 설계되었다.

실험에서는 기존의 distillation, rehearsal, PTM‑based prompt/adapter 방식들을 동일한 Stage‑Bench 프로토콜에 적용해 비교하였다. STAGE는 Inter‑F와 Intra‑F 모두에서 현저히 낮은 망각률을 기록했으며, 특히 Intra‑F에서 30% 이상 개선된 점이 눈에 띈다. 이는 메모리 풀에 내재된 변형 패턴이 클래스‑특정 진화 흐름을 효과적으로 캡처했기 때문이다. 또한, 메모리 크기를 제한했음에도 불구하고 성능 저하가 미미해, 제한된 메모리 환경에서도 실용성을 입증한다.

하지만 몇 가지 한계도 존재한다. 현재는 M=2, 즉 두 단계만을 고려했으며, 다단계(>2) 진화에 대한 확장성 검증이 부족하다. 또한, 변형 패턴을 선형 결합하는 방식이 복잡한 비선형 변형(예: 형태학적 구조 변화)에는 충분히 표현력을 제공하지 못할 가능성이 있다. 메모리 풀의 초기화 및 업데이트 전략이 고정되어 있어, 장기적인 연속 학습 시 패턴 붕괴 혹은 과적합 위험이 존재한다. 마지막으로, 텍스트 프롬프트를 활용한 cross‑modal 융합이 이미지‑텍스트 정합성이 낮은 도메인(예: 의료 영상)에서는 효과가 제한될 수 있다. 이러한 점들을 보완하기 위해, 다단계 시계열 모델링, 비선형 변형 학습, 동적 메모리 관리 기법 등을 향후 연구에 포함시키는 것이 바람직하다.