데이터셋 증류를 위한 정보와 효용 기반 최적화 프레임워크

초록

본 논문은 데이터셋 증류(DD)에서 “정보성(Informativeness)”과 “효용(Utility)”이라는 두 개념을 이론적으로 정의하고, 이를 동시에 최적화하는 InfoUtil 프레임워크를 제안한다. InfoUtil은 샤플리 값(Shapley Value)으로 각 샘플의 핵심 정보를 추출하고, 그래디언트 노름(Gradient Norm)으로 전역적인 학습 기여도를 평가한다. 실험 결과, ImageNet‑1K에서 ResNet‑18을 사용했을 때 기존 최첨단 방법 대비 6.1%의 정확도 향상을 달성한다.

상세 분석

이 논문은 데이터셋 증류를 “원본 데이터와 합성 데이터 사이의 근본적인 관계”라는 관점에서 재조명한다는 점에서 의미가 크다. 먼저 저자는 샘플 수준의 **정보성(Informativeness)**을 정의한다. 이는 원본 이미지 x와 마스크 s가 적용된 압축 이미지 s ∘ x 사이의 모델 출력 차이를 L2 노름으로 측정한 것으로, 마스크 s가 원본의 핵심 정보를 얼마나 보존하는지를 정량화한다. 이 정의는 기존의 무작위 크롭이나 손실 기반 스코어링보다 명시적인 “정보 보존” 목표를 제공한다.

다음으로 **효용(Utility)**을 정의하는데, 이는 특정 샘플을 제거했을 때 전체 데이터셋의 Gradient Flow(손실의 연속적 변화율)에 미치는 최악의 영향을 측정한다. 즉, 어떤 샘플이 학습 역학에 가장 큰 변화를 일으키는지를 정량화한다. 논문은 이 효용을 직접 계산하는 것이 비용이 크므로, Gradient Norm이 효용의 상한임을 정리(Theorem 1)로 증명하고, 이를 실용적인 스코어링 지표로 채택한다. 이 접근은 기존의 “그라디언트 매칭”이나 “특징 매칭” 방식보다 계산 효율성을 크게 개선한다.

InfoUtil 파이프라인은 두 단계로 구성된다.
1️⃣ 게임 이론 기반 정보성 최대화: 각 이미지에 대해 샤플리 값을 추정한다(핵심은 KernelShap을 이용한 근사). 샤플리 값은 입력 픽셀(또는 패치)들을 ‘플레이어’로 보는 협력 게임에서 각 플레이어의 기여도를 공정하게 할당한다. 이를 통해 가장 기여도가 높은 패치를 선택하고, 무작위 노이즈를 추가해 다양성을 보장한다.
2️⃣ 원칙 기반 효용 최대화: 압축된 후보 샘플들에 대해 그래디언트 노름을 계산하고, 상위 m 개를 최종 증류 데이터셋에 포함한다. 이때 그래디언트 노름은 학습 단계에서 해당 샘플이 파라미터 업데이트에 기여하는 크기를 직접 반영한다.

실험에서는 ImageNet‑1K, ImageNet‑100, Tiny‑ImageNet 등 다양한 규모의 데이터셋과 ResNet‑18, ViT‑B/16 등 여러 백본 모델을 대상으로 평가한다. 특히 1 IPC(이미지당 1개 샘플) 설정에서 기존 최첨단인 RDED 대비 6.1% 절대 정확도 상승을 기록했으며, 10 IPC에서는 4~5% 수준의 추가 향상을 보였다. Ablation study를 통해 샤플리 기반 정보성 단계와 그래디언트 노름 기반 효용 단계가 각각 독립적으로 성능에 기여함을 확인한다. 또한, 시각화 결과는 InfoUtil이 배경 잡음보다 객체의 핵심 부분을 집중적으로 보존한다는 점을 보여, 해석 가능성도 향상됨을 입증한다.

이 논문의 강점은 이론적 기반을 명확히 제시하고, 게임 이론과 연속적 최적화를 결합해 기존의 휴리스틱 기반 증류 방법을 대체한다는 점이다. 특히 효용을 그래디언트 노름으로 상한화한 정리는 계산 복잡도를 크게 낮추면서도 학습 기여도를 정확히 추정한다는 실증적 근거가 있다. 그러나 몇 가지 한계도 존재한다. 샤플리 값 근사는 여전히 비용이 높으며, 대규모 고해상도 이미지에 적용할 경우 메모리·시간 부담이 증가할 수 있다. 또한, Gradient Norm이 효용의 상한이라는 가정은 SGD 외의 최적화 알고리즘(예: Adam)에서는 성질이 달라질 가능성이 있다. 향후 연구에서는 다중 샤플리 근사 기법(예: 샘플링 기반 추정)과 다양한 옵티마이저에 대한 효용 상한 분석을 확장함으로써 실용성을 높일 여지가 있다.