활성 클래스 증분 학습으로 비용 절감과 망각 방지

초록

본 논문은 클래스 증분 학습(CIL) 환경에서 매 에피소드마다 전체 데이터를 라벨링하는 비용을 줄이고, 동시에 재현성 손실(망각)을 완화하기 위해 활성 학습 기반의 샘플 선택 전략을 제안한다. 불확실성·다양성 기반의 가중치 k‑means 클러스터링을 이용해 제한된 예산(k) 내에서 라벨이 없는 데이터와 이전 에피소드의 예시 집합을 균형 있게 선택하고, 가중 교차 엔트로피와 지식 증류 손실을 결합한 학습 목표를 사용한다. 실험 결과, 제안 방법은 기존 CIL 및 AL 기반 베이스라인 대비 라벨링 비용을 크게 낮추면서 정확도 저하를 최소화한다.

상세 분석

ACIL(Active Class Incremental Learning)은 기존 클래스 증분 학습(CIL) 연구가 간과해 온 라벨링 비용 문제를 활성 학습(Active Learning)과 결합함으로써 해결하고자 한다. 핵심 아이디어는 매 에피소드마다 전체 데이터를 라벨링하지 않고, 제한된 예산(k) 내에서 가장 정보량이 높은 샘플만을 선택해 다음 에피소드에 전달하는 것이다. 이를 위해 저자는 두 가지 주요 메커니즘을 설계하였다. 첫째, 예산을 ‘라벨이 없는 데이터(X_U)와 이전 에피소드에서 전달된 예시 집합(E_{n‑1})’ 사이에 클래스 수 비율에 따라 동적으로 할당한다. 이는 현재 에피소드에 등장하는 새로운 클래스와 과거에 학습된 클래스 간의 균형을 유지함으로써, 선택된 샘플이 전체 클래스 분포를 대표하도록 만든다. 둘째, 샘플 선택 기준으로 불확실성(엔트로피 기반)과 다양성(가중치 k‑means 클러스터링)을 동시에 고려한다. 각 샘플은 모델이 예측한 클래스 확률의 엔트로피 I(x)로 가중치가 부여되고, 이 가중치를 이용해 클러스터 내 평균 거리와 곱한 값을 최소화하는 형태의 목표함수(식 4)를 최적화한다. NP‑hard 문제를 근사하기 위해 가중치 k‑means를 적용하고, 각 클러스터에서 중심에 가장 가까운 샘플을 최종 예시 집합에 포함한다. 이렇게 선택된 샘플은 실제 라벨링이 이루어져 다음 에피소드에 전달되며, 기존에 라벨링된 X_L와 E_{n‑1}와 함께 학습에 사용된다. 학습 단계에서는 클래스 불균형을 보정하기 위해 가중 교차 엔트로피 손실을 적용하고, 이전 모델(M_{n‑1})의 출력과 현재 모델(M_n)의 출력 사이에 지식 증류 손실(L_D)을 추가한다. 전체 손실 L = L_WCE + λ L_D 형태로 결합되어, 새로운 클래스 학습과 동시에 과거 지식 보존을 동시에 달성한다. 실험에서는 CIFAR‑100, ImageNet‑Subset 등 여러 비전 데이터셋을 사용해, 라벨링 비율을 10% 이하로 낮추면서도 기존 CIL 방법과 비교해 정확도 저하가 미미함을 입증한다. 특히, 동일 예산 하에서 Coreset, BADGE와 같은 최신 활성 학습 기법보다 더 균형 잡힌 클래스 커버리지를 제공함으로써 망각 방지 효과가 두드러진다. 전체적으로 ACIL은 라벨링 비용을 실질적으로 절감하고, 메모리 예산(k) 고정 하에서 지속적인 학습을 가능하게 하는 실용적인 프레임워크라 할 수 있다.