안정적인 속도: 흐름 매칭의 분산 관점에서 본 혁신

초록

흐름 매칭은 조건부 속도 필드를 단일 샘플로 추정해 학습하지만, 이 추정치는 사전 단계에서 높은 분산을 보이며 최적화를 불안정하게 만든다. 저자는 분산을 정량화해 고분산 구간(사전 근처)과 저분산 구간(데이터 근처)으로 나누고, 이를 기반으로 두 가지 핵심 기법을 제안한다. ① Stable Velocity Matching (StableVM)은 다중 샘플을 이용해 편향 없는 분산 감소 목표를 제공한다. ② Variance‑Aware Representation Alignment (VA‑REPA)는 저분산 구간에서만 보조 의미 정렬을 강화한다. 또한 저분산 구간에서 닫힌 형태의 근사식을 이용해 모델을 재학습 없이 2배 이상 가속하는 Stable Velocity Sampling (StableVS)을 설계한다. ImageNet‑256, SD3.5, Flux 등 최신 텍스트‑이미지·텍스트‑비디오 모델에 적용한 실험에서 학습 효율과 샘플링 속도가 크게 개선되었으며, 품질 저하 없이 가속이 입증되었다.

상세 분석

본 논문은 흐름 매칭(Flow Matching)과 확률적 보간(Stochastic Interpolants)에서 발생하는 훈련 목표의 분산을 체계적으로 분석한다. 조건부 속도 vₜ(xₜ|x₀) 는 실제 주변 속도 vₜ(xₜ) 의 단일 샘플 추정치이며, 사전(αₜ≈0, σₜ≈1) 단계에서는 posterior pₜ(x₀|xₜ) 가 다중 데이터 포인트에 걸쳐 퍼져 있어 추정치의 변동이 크게 된다. 저자는 평균 공분산 트레이스 V_CFM(t) 를 정의하고, GMM, CIFAR‑10, ImageNet‑latent 등에서 실험적으로 두 구간을 확인한다. 고분산 구간에서는 V_CFM(t) 가 급격히 상승해 학습 신호가 잡음에 묻히고, 저분산 구간에서는 거의 0에 수렴한다. 차원(d)이 커질수록 저분산 구간이 확대되는 현상도 관찰된다. 이러한 관찰을 바탕으로 두 가지 질문을 제시한다. (1) 고분산 구간에서 분산을 감소시키면서 전역 최적화 목표를 유지할 수 있는가? (2) 저분산 구간을 활용해 보조 학습 신호를 강화하고 샘플링을 가속화할 수 있는가?

첫 번째 질문에 대한 해답으로 제안된 StableVM은 n 개의 참조 샘플 {x₀ⁱ}₁ⁿ을 이용해 복합 조건부 경로 p_GMMₜ(xₜ|{x₀ⁱ}) = (1/n)∑ₖpₜ(xₜ|x₀ᵏ) 를 정의한다. 이 경로에서 샘플링된 xₜ에 대해 자기 정규화 가중 평균 bᵥ^StableVM = ∑ₖpₜ(xₜ|x₀ᵏ)vₜ(xₜ|x₀ᵏ) / ∑ⱼpₜ(xₜ|x₀ʲ) 을 목표로 삼는다. 이 목표는 편향이 없으며, 기대값이 정확히 vₜ(xₜ) 와 일치한다. 정리 3.1·3.2에 의해 편향 없음과 전역 최소점 동일성이 증명되고, 정리 3.3은 분산이 O(1/n)으로 감소함을 보인다. 따라서 고분산 구간에서도 다중 샘플을 활용해 잡음을 크게 억제하면서 기존 CFM과 동일한 최적점을 찾을 수 있다.

두 번째 질문에 대해서는 저분산 구간에서만 의미 정렬(Representation Alignment, REPA) 손실을 적용하는 VA‑REPA를 제안한다. 기존 REPA는 전체 시간축에 걸쳐 적용했을 때 고분산 구간에서 의미 신호가 거의 사라져 효과가 미미했다. 저자는 w(t) 이라는 가중 함수를 도입해 t<ξ (저분산 구간)에서는 w≈1, t≥ξ 에서는 w≈0 으로 설정한다. 하드 임계, 시그모이드, SNR 기반 가중 방식 세 가지를 실험했으며, 특히 SNR 기반 가중이 샘플 품질과 학습 안정성에서 가장 좋은 결과를 보였다.

마지막으로, 저분산 구간에서는 vₜ(xₜ) 가 단일 데이터 포인트 x₀ 에 의해 거의 결정되므로, 조건부 속도와 주변 속도가 거의 동일하다. 이를 이용해 역 SDE/ODE 통합 시 큰 타임스텝을 사용해도 정확도가 크게 떨어지지 않는다. 논문은 이를 Stable Velocity Sampling (StableVS)이라 명명하고, 별도 파인튜닝 없이 기존 모델에 적용해 2배 이상 빠른 샘플링을 달성한다. 실험에서는 SD3.5, Flux, Qwen‑Image, Wan2.2 등 최신 대규모 텍스트‑이미지·비디오 모델에 StableVS를 적용했을 때 FID·IS·CLIP‑Score 등 주요 지표가 유지되면서 2~2.5× 가속을 기록했다.

전체적으로 이 논문은 흐름 매칭의 근본적인 분산 문제를 정량화하고, 고분산·저분산 두 구간을 각각 최적화하는 방법론을 제시함으로써 학습 효율과 추론 속도 모두에서 실질적인 향상을 이루었다.