PANDA: 패치와 분포를 고려한 증강으로 장기적 불균형 지속 학습의 한계를 넘어서다

초록

본 연구는 예시 데이터 저장이 불가능한 지속 학습 환경에서, 실제 세계 데이터의 이중 수준 불균형 문제를 해결하는 ‘PANDA’ 프레임워크를 제안합니다. 사전 학습된 모델(PTM) 기반 방법에 쉽게 통합될 수 있는 PANDA는 CLIP 인코더를 활용해 희귀 클래스의 의미론적 패치를 빈도 높은 클래스 이미지에 이식하여 작업 내 불균형을 해소하고, 이전 작업의 분포 정보를 활용해 작업 간 전환을 부드럽게 만듭니다. 이를 통해 기존 방법 대비 정확도 향상과 catastrophic forgetting 현상 감소를 달성했습니다.

상세 분석

본 논문이 해결하고자 하는 핵심 문제는 Exemplar-Free Continual Learning(EFCL) 환경에서의 ‘이중 수준 불균형(Dual-Level Imbalance, DLI)‘입니다. 기존의 Long-Tailed EFCL 연구는 데이터셋 전체의 장기적 분포(단일 수준 불균형, SLI)만을 고려했으나, 실제 세계에서는 특정 작업(task) 내에서 분포가 극단적으로 치우치거나 반전되는 현상이 추가로 발생합니다. PANDA는 이러한 복합적 도전과제를 해결하기 위해 두 가지 혁신적인 메커니즘을 제시합니다.

첫 번째는 ‘작업 내(Intra-task) 균형 조정’ 메커니즘입니다. 고정된 CLIP 인코더의 언어-이미지 정렬 능력을 활용하여, 꼬리(희귀) 클래스 샘플에서 해당 클래스를 가장 잘 나타내는 의미론적 패치(예: 동물의 머리 부분)를 식별합니다. 이후 이 패치들을 머리(빈도 높은) 클래스 샘플의 배경에 이식함으로써, 꼬리 클래스에 대한 효과적인 데이터 증강을 수행합니다. 이는 단순히 꼬리 클래스 샘플을 복제하는 기존 오버샘플링과 달리, 컨텍스트 다양성을 유지하면서 클래스별 샘플 수를 균형 있게 맞춥니다.

두 번째는 ‘작업 간(Inter-task) 분포 완화’ 전략입니다. EFCL에서는 이전 작업 데이터를 저장할 수 없기 때문에, 현재 작업의 분포만으로 분류기를 학습하면 이전 작업에 대한 편향이 발생합니다. PANDA는 이전 작업에서 관측된 클래스별 통계(예: 특징 공간에서의 최소/최대 값)를 유지하고, 학습 가능한 β 파라미터를 통해 현재 작업의 통계와 적응적으로 혼합합니다. 이는 마치 이동 평균처럼 분포 변화를 부드럽게 만들어, 고정된 PTM 백본을 사용할 때 발생하는 작업 간 불공정한 학습을 완화합니다.

실험 결과는 PANDA의 효과를 입증합니다. CIFAR-100-LT 및 iNaturalist 데이터셋에서 L2P, CodaPrompt, DualPrompt 등 다양한 PTM 기반 EFCL 방법에 PANDA를 통합했을 때, 평균 정확도(Avg Acc)가 최대 7.98%p 상승하고 평균 망각률(Avg For)도 최대 2.94%p 감소했습니다. 특히 데이터 불균형이 심한(ρ=0.01) 설정에서의 성능 향상이 두드러졌습니다. 이는 PANDA가 기존 방법의 아키텍처를 변경하지 않고도 플러그인 방식으로 강력한 성능 향상을 가져올 수 있는 일반성을 보여줍니다.