대규모 데이터셋 증류 가속화 탐색과 활용 최적화

초록

본 논문은 기존의 최적화 기반·최적화 자유형 데이터셋 증류 방법이 겪는 정확도‑효율성 트레이드오프를 해소하고자, 전체 이미지 초기화와 탐색‑활용 두 단계 최적화를 결합한 E²D(E²D) 방법을 제안한다. 초기 단계에서 전체 이미지를 사용해 의미적 완전성을 유지하고, 탐색 단계에서는 균일하게 업데이트하면서 손실이 큰 영역을 탐지한다. 이후 활용 단계에서 해당 고손실 영역에 집중 업데이트를 수행해 중복 연산을 최소화한다. 대규모 ImageNet‑1K와 ImageNet‑21K 실험에서 기존 최첨단 방법 대비 18배·4.3배 빠른 합성 속도와 동시에 최고 정확도를 달성한다.

상세 분석

E²D는 데이터셋 증류 과정에서 발생하는 두 종류의 중복을 정량화하고 제거한다. 첫 번째는 패치 기반 초기화가 동일 이미지에서 유사한 크롭을 다수 생성해 다양성을 저해하는 현상이다. 저자들은 전체 이미지 초기화를 도입함으로써 각 합성 샘플이 원본 이미지의 전체 구조와 의미를 보존하도록 설계하였다. 이는 초기 단계부터 클래스 간 구분이 명확한 특징을 제공해 이후 최적화 비용을 크게 감소시킨다. 두 번째는 기존 최적화 단계에서 모든 영역에 균일하게 그래디언트를 적용하는 ‘무차별 업데이트’이다. 이 방식은 손실 감소에 기여도가 낮은 영역에도 연산을 할당해 효율을 떨어뜨린다. E²D는 탐색‑활용 전략을 통해 이를 해결한다. 탐색 단계에서는 랜덤 크롭을 수행하면서 교사 모델의 손실을 측정하고, 손실이 사전 정의된 임계값을 초과하는 크롭을 메모리 버퍼에 저장한다. 이 과정은 손실이 큰 ‘핵심 영역’을 자동으로 식별한다. 이후 활용 단계에서는 버퍼에 저장된 고손실 크롭을 손실 비례 확률로 샘플링해 집중적으로 업데이트한다. 이렇게 하면 학습이 초기에 넓은 영역을 커버하면서도, 이후에는 정보 밀도가 높은 부분에 연산을 집중해 수렴 속도를 가속한다. 또한, 저자들은 전역 통계 기반 정합(예: BN 평균·분산) 최적화가 초기에는 잡음을 정규화하는 데 유용하지만, 특징이 충분히 정렬된 후에는 중복을 증폭한다는 현상을 실험적으로 확인하였다. 따라서 E²D는 초기 전역 정합을 제한하고, 고손실 영역에 국한된 지역 정합을 반복함으로써 클래스 수준의 일관성을 유지하면서 인스턴스 수준의 다양성을 보존한다. 마지막으로, 합성된 데이터에 대한 가속 학습 스케줄을 적용해 학생 모델의 학습 단계에서도 시간 절감을 극대화한다. 전체 파이프라인은 초기화 → 탐색 → 활용 → 가속 학습의 네 단계로 구성되며, 각 단계는 기존 방법에 비해 연산량을 10배 이상 절감하면서도 정확도는 동일하거나 향상되는 결과를 보인다.