CLIP 기반 클래스 증분 학습 툴박스 C3Box

초록

C3Box는 CLIP을 활용한 클래스‑증분 학습(CIL) 연구를 위한 통합 파이썬 툴킷이다. 전통적인 CIL, ViT‑기반 CIL, 최신 CLIP‑기반 CIL 알고리즘을 하나의 프레임워크에 모아 JSON 설정 파일로 실험을 재현 가능하게 하고, 코드베이스 분산·구성 불일치 문제를 해소한다. PyCIL 설계를 계승해 데이터·백본·학습 파라미터를 일관되게 관리하며, 10개의 벤치마크 데이터셋과 평균·최종 정확도, 망각 지표 등을 제공한다.

상세 분석

C3Box는 현재 CLIP 기반 CIL 연구가 겪고 있는 세 가지 근본적인 문제—코드베이스 파편화, 실험 프로토콜 불일치, 높은 엔지니어링 장벽—를 동시에 해결하도록 설계되었다. 첫째, 기존 논문마다 서로 다른 레포지토리와 구현 방식을 사용함으로써 결과 재현이 어려웠는데, C3Box는 17개의 대표적인 CIL 방법(FOSTER, MEMO, L2P, DualPrompt, CODA‑Prompt, EASE, SimpleCIL, APER, TUNA, RAPF, CLG‑CBM, MG‑CLIP, PROOF, ENGINE, BOFA 등)을 모두 동일한 CLIP‑기반 백본 위에 구현한다. 이때 OpenCLIP 라이브러리를 통해 LAION‑400M·OpenAI 두 종류의 사전학습 가중치를 선택할 수 있어, 연구자는 백본 교체만으로도 다양한 사전학습 모델의 영향을 손쉽게 비교할 수 있다.

둘째, 실험 설정을 JSON 파일 하나에 집중시켜 데이터셋, 초기 클래스 수, 단계별 증분 클래스 수, 메모리 예제 수, 랜덤 시드, 학습률·배치·옵티마이저 등 모든 하이퍼파라미터를 명시한다. 이는 “B‑mInc‑n” 방식의 클래스 분할을 포함해 기존 CIL 프로토콜을 그대로 따르면서도, 실험 재현성을 크게 높인다. 특히, 메모리 기반 방법에서는 20개의 예제를 herding 방식으로 선택하도록 기본값을 제공해, 메모리 제한 조건 하에서의 성능 비교가 일관되게 이루어진다.

셋째, C3Box는 PyCIL과 PILOT의 모듈화된 설계를 차용해, 데이터 로더, 모델 래퍼, 학습 루프, 평가 모듈이 명확히 분리돼 있다. 따라서 새로운 알고리즘을 추가하려면 기존 메서드 클래스를 상속하고, JSON에 메서드 이름만 등록하면 된다. 이는 연구자가 구현에 소요되는 시간을 크게 단축시키며, 커뮤니티 기여를 촉진한다.

실험 결과는 CIFAR‑100과 Aircraft 두 데이터셋에서 CLIP 기반 방법들이 전통적인 CIL보다 평균·최종 정확도 모두 우수함을 보여준다. 특히 ENGINE, PROOF, BOFA와 같은 최신 방법은 80% 이상의 최종 정확도를 기록, CLIP의 시멘틱 정렬이 증분 학습에서 망각을 억제하는 핵심 메커니즘임을 실증한다. 또한, Forgetting Measure를 도입해 각 단계별 성능 저하를 정량화함으로써, 단순 정확도 외에 지속 가능한 학습 능력을 평가한다.

전반적으로 C3Box는 CLIP 기반 CIL 연구의 표준화된 베이스라인을 제공함과 동시에, 다양한 백본·데이터·방법을 손쉽게 교차 실험할 수 있는 환경을 제공한다. 이는 향후 CLIP을 넘어 다른 멀티모달 사전학습 모델(예: BLIP, Florence)까지 확장 가능한 토대를 마련한다는 점에서 학계·산업 모두에 큰 가치를 가진다.