데이터셋 증류 평가의 공정성을 위한 정정된 탈결합 프레임워크

초록

본 논문은 최근 등장한 탈결합형 데이터셋 증류 방법들의 평가 프로토콜이 일관되지 않아 성능 비교가 왜곡되는 문제를 지적한다. 이를 해결하기 위해 저자들은 RD³(Rectified Decoupled Dataset Distillation)라는 통합 벤치마크와 표준화된 포스트‑평가 설정을 제안한다. 다양한 IPC(이미지당 클래스)와 데이터셋, 모델 아키텍처에 걸쳐 기존 방법들을 재현·재평가한 결과, 대부분의 성능 차이가 실제 합성 데이터의 질이 아니라 평가 설정 차이에 기인함을 확인한다. 또한 배치 크기, 학습 에폭, 소프트 라벨링 등 몇 가지 간단한 전략이 성능을 크게 좌우한다는 점을 밝혀, 향후 연구에서 공정하고 재현 가능한 비교를 위한 기준을 제공한다.

상세 분석

본 연구는 데이터셋 증류 분야에서 가장 시급히 해결해야 할 ‘평가 불일치’ 문제를 체계적으로 파악하고, 이를 정량화한다는 점에서 큰 의의를 가진다. 먼저 기존 탈결합 방법들—SRe²L, CD‑A, DW, G‑VBSM, EDC, Minimax, D⁴M, RDED, FocusDD, DPS 등—이 각각 서로 다른 포스트‑평가 파라미터(배치 사이즈, 학습 에폭, 학습률 스케줄, 데이터 증강 강도, 소프트 라벨 생성 방식)를 사용하고 있음을 상세히 정리한다. 이러한 차이는 특히 대규모 데이터셋(ImageNet‑1K)과 높은 IPC(10~100) 상황에서 모델 수렴 속도와 일반화 성능에 큰 영향을 미친다.

저자들은 RD³ 프레임워크를 구축하면서 다음과 같은 핵심 설계를 도입했다. (1) 통일된 포스트‑평가 프로토콜: 모든 방법에 대해 동일한 사전 학습된 ResNet‑18 교사 모델, KL‑다이버전스 기반 소프트 라벨, 배치 크기 256, 학습 에폭 400을 적용한다. (2) 다차원 벤치마크: CIFAR‑10/100, TinyImageNet, ImageNette, ImageWoof 등 6개 데이터셋과 ResNet‑18/50/101, EfficientNet, MobileNet, Swin‑T, ViT‑B 등 7개 아키텍처를 교차 평가한다. (3) 추가 평가 지표: 단순 정확도 외에 학습 시간, 메모리 사용량, 라벨링 비용 등을 측정한다.

실험 결과는 놀라울 정도로 일관된다. 기존 논문에서 보고된 27% 이상의 성능 격차는 표준화된 설정 하에서는 67% 수준으로 급격히 축소된다. 이는 대부분의 ‘혁신’이 실제 합성 데이터의 표현력 향상이 아니라, 더 큰 배치, 더 긴 학습, 혹은 더 강력한 데이터 증강과 같은 부수적 요인에 의한 것이었다. 특히, 배치 크기를 64→256으로 늘리면 평균 정확도가 23% 상승하고, epoch‑wise soft label을 도입하면 추가 1~2% 향상이 관찰된다.

또한, 저자들은 몇 가지 간단하지만 효과적인 전략을 제시한다. 첫째, 최적화 기반 방법에서 실 데이터 초기화를 사용하면 초기 다양성이 확보되어 수렴이 빨라진다. 둘째, 다중 교사 모델을 활용한 앙상블 soft label은 라벨 노이즈를 감소시켜 일반화에 기여한다. 셋째, BN 통계 매칭 대신 전체 feature distribution을 정규화하는 방법이 더 안정적인 학습을 가능하게 한다. 이러한 전략들은 기존 방법에 쉽게 적용 가능하며, 향후 새로운 증류 기법이 실제 알고리즘적 진보인지, 구현상의 트릭인지 명확히 구분할 수 있게 한다.

결론적으로, RD³는 데이터셋 증류 연구에 공정하고 재현 가능한 평가 기준을 제공함으로써, 연구자들이 진정한 알고리즘 혁신에 집중하도록 돕는다. 앞으로는 이 표준 프로토콜을 기반으로 새로운 합성 데이터 생성 메커니즘을 평가하고, 평가 외에도 효율성, 에너지 소비 등 실용적 측면을 함께 고려하는 연구가 진행될 것으로 기대된다.