경로 안내 흐름 매칭 기반 데이터셋 증류

초록

PGFM은 고정된 VAE의 잠재공간에서 흐름 매칭을 이용해 클래스 조건부 데이터를 빠르게 합성하고, 경로‑프로토타입 가이드를 통해 적은 IPC에서도 다양성과 정확성을 동시에 확보한다. 기존 확산 기반 방법에 비해 샘플링 단계가 크게 감소하고 7.6배 효율성을 달성한다.

상세 분석

본 논문은 데이터셋 증류(Dataset Distillation) 문제에 흐름 매칭(Flow Matching)이라는 최신 생성 모델 패러다임을 최초로 적용한다. 기존 확산 기반 증류는 복잡한 노이즈 스케줄, 강력한 클래스‑프리 가이드(CFG) 등으로 샘플링 비용이 높고, 경로가 불안정해 저 IPC(이미지당 클래스) 상황에서 모드 붕괴가 빈번했다. PGFM은 이러한 한계를 극복하기 위해 세 가지 핵심 설계를 도입한다. 첫째, 사전 학습된 VAE의 인코더·디코더를 고정하고, 잠재공간 Z에서 흐름 매칭 모델(GMFlow)을 활용한다. 이는 고해상도 이미지를 직접 다루는 비용을 크게 낮추면서도 인간 지각에 가까운 퍼셉추얼 공간을 제공한다. 둘째, 각 클래스별로 K‑means++(K=IPC)로 클러스터링한 프로토타입 µ₍y,k₎를 사전에 정의한다. 이 프로토타입은 클래스 내부의 주요 모드를 대표하며, 샘플링 과정에서 목표 지점으로 사용된다. 셋째, ODE 샘플링 단계에 경로‑프로토타입 가이드(Proto‑Guidance)를 삽입한다. 구체적으로, 기본 흐름 속도 u_ϕ(t,z,y)에 가벼운 보정 항 g(t)·ũ_proto(t,z,y,k)를 더한다. 여기서 ũ_proto는 현재 잠재값과 예측된 클린 잠재값 ẑ₁ 사이의 차에 비례하고, α(t)와 ρ₀을 이용해 가이드 강도를 동적으로 조절한다. 이 trust‑region 메커니즘은 가이드가 기본 흐름을 과도하게 압도하지 않도록 보장하면서, 초기 단계에만 강하게 작동해 빠르게 모드에 접근하고, 이후 단계에서는 원래 흐름이 세부 디테일을 복원하도록 한다.

실험 결과는 두드러진 두 가지 측면에서 우수성을 보여준다. (1) 효율성: Heun 혹은 Euler와 같은 소수 단계 ODE 솔버만으로 510스텝 내에 고품질 샘플을 생성한다. 이는 기존 확산 기반 증류가 요구하는 수십수백 스텝에 비해 7.6배 빠른 속도이며, 동일한 IPC에서도 78% 수준의 프로토타입 히트율을 기록한다. (2) 성능: ImageNette, ImageNet‑100 등 고해상도 베치마크에서 IPC=10~20 구간에서 기존 최첨단 MGD³, MinimaxDiff 등을 능가하거나 동등한 정확도를 달성한다. 특히 저 IPC 상황에서 클래스 내부 모드 커버리지를 유지하면서도 이미지 품질이 흐림이나 노이즈에 휘말리지 않는다.

또한, PGFM은 흐름 매칭이라는 결정론적 ODE 기반 생성 방식의 장점을 그대로 살리면서, 경로‑프로토타입 가이드를 통해 “모드‑정밀도” 트레이드오프를 효과적으로 조정한다는 점에서 이론적·실용적 의미가 크다. 가이드가 초기 단계에만 적용되는 설계는 과도한 제어에 따른 샘플 품질 저하를 방지하고, trust‑region 파라미터 ρ₀와 ρ_min을 통해 사용자가 제어 강도를 자유롭게 튜닝할 수 있게 한다. 이러한 설계는 향후 다른 생성 기반 증류 혹은 데이터 증강 작업에도 일반화 가능성을 시사한다.