위원회 투표 기반 데이터셋 증류

초록

본 논문은 여러 모델의 예측과 분포를 결합해 소량의 고품질 합성 데이터를 생성하는 새로운 데이터셋 증류 기법인 CV‑DD(Committee Voting for Dataset Distillation)를 제안한다. 기존 단일‑모델 기반 증류가 갖는 편향과 다양성 부족 문제를 해결하기 위해, 사전 성능을 기반으로 가중치를 부여한 투표 메커니즘과 배치‑특정 소프트 라벨링(BSSL)을 도입한다. 강화된 베이스라인(SRe2L++)과 결합해 CIFAR‑100, Tiny‑ImageNet, ImageNet‑1K 등에서 IPC(Images‑Per‑Class) 설정별로 기존 최첨단 방법들을 지속적으로 능가함을 실험적으로 입증한다.

상세 분석

CV‑DD는 데이터셋 증류라는 문제를 “다중 모델 집단 지성”으로 재구성한다는 점에서 혁신적이다. 기존 메타‑모델 매칭, 그래디언트 매칭, 분포 매칭 등은 대부분 단일 백본을 사용해 합성 데이터의 손실 함수를 정의했으며, 이는 특정 모델의 특성에 과도하게 의존하게 만든다. 저자들은 이러한 한계를 극복하기 위해 (1) 다양한 아키텍처(ResNet‑18, ResNet‑50, ShuffleNetV2, MobileNetV2, DenseNet121)로 구성된 위원회를 구성하고, (2) 각 모델의 사전 성능(알파값)을 기반으로 SoftMax 가중치를 적용한 Prior‑Performance Guided Voting을 설계한다. 이때 투표 손실 L(û) = Σ_i exp(α_i/T)·L_{Φ_i}(û) 형태로 정의되어, 성능이 높은 모델이 더 큰 영향력을 행사하면서도 약한 모델의 보완적인 신호를 유지한다.

이론적 분석에서는 위원회 다양성 K와 그래디언트 차이 C_g를 이용해 intra‑class cosine distance가 시간에 따라 증가함을 보였으며(Theorem 3.1), 이는 모델 간 상호 보완성이 데이터 다양성을 증대시킨다는 직관과 일치한다. 또한 Prior‑Weighted Gradient와 일반화 위험 Gradient 사이의 내적이 균등 가중치보다 크게 양수임을 보이는 Theorem 3.2를 통해, 사전 성능 기반 투표가 일반화 방향으로 더 정확히 최적화된다는 것을 수학적으로 뒷받침한다.

데이터 생성 단계에서는 기존 SRe2L++의 개선점을 적용한다. 실이미지 초기화, RandomResizedCrop 기반 데이터 증강, 작은 배치 사이즈와 코사인 스케줄링을 통한 Smoothed Learning Rate 등을 도입해 합성 이미지의 품질을 사전에 끌어올린다. 특히 배치‑특정 소프트 라벨링(BSSL)은 합성 배치마다 BN 통계(μ_B, σ_B)를 재계산해 교사 모델의 정적 BN 파라미터와의 불일치를 최소화한다. 이는 합성 이미지가 실제 데이터와 동일한 통계적 특성을 갖도록 강제함으로써, 후속 학습 단계에서 소프트 라벨의 신뢰성을 크게 향상시킨다.

실험 결과는 두 가지 축에서 강력하다. 첫째, 동일한 IPC(1, 10, 50) 조건에서 CV‑DD는 기존 최첨단 RDED(2024) 대비 ResNet‑18 기준 Top‑1 정확도에서 2~6%p 상승을 기록한다. 둘째, 교차‑아키텍처 일반화 테스트에서, CV‑DD로 증류된 데이터로 훈련된 모델이 보지 못한 백본(예: MobileNetV2)에서도 일관되게 높은 정확도를 유지한다. 또한 비‑학습 기반 프레임워크(RDED, DCC 등)와 결합했을 때도 성능 향상이 관찰되어, 제안 기법이 기존 파이프라인에 손쉽게 통합될 수 있음을 보여준다.

한계점으로는 위원회 규모가 커질수록 투표 손실 계산 비용이 선형적으로 증가한다는 점과, 사전 성능을 측정하기 위한 별도 평가 단계가 필요하다는 점을 들 수 있다. 그러나 저자들은 알고리즘 1에서 80/20 데이터 분할을 통한 간단한 distill‑and‑evaluate 절차로 이를 최소화하고, 실제 구현에서는 N=2 정도의 작은 서브셋만을 샘플링해 충분한 성능을 얻는다고 보고한다.

종합하면, CV‑DD는 (1) 다중 모델의 집단 지성을 활용한 투표 기반 합성 데이터 생성, (2) 배치‑특정 통계 재계산을 통한 소프트 라벨 품질 향상, (3) 강화된 베이스라인과의 시너지 효과라는 세 축을 통해 데이터셋 증류 분야에 새로운 패러다임을 제시한다. 향후 연구에서는 위원회 자동 구성, 메타‑학습 기반 투표 가중치 학습, 그리고 비전 외 분야(예: 자연어 처리)로의 확장 가능성을 탐색할 여지가 충분히 있다.