FastFlow: 흐름 매칭 모델을 위한 적응형 밴딧 기반 가속 프레임워크

초록

FastFlow는 흐름 매칭(Flow‑Matching) 모델의 순차적 디노이징 과정을 분석해, 변화가 미미한 중간 단계들을 신경망 없이 유한 차분으로 예측하고 건너뛰는 방법을 제안한다. 건너뛸 단계 수를 다중 팔 밴딧(MAB)으로 학습시켜 효율과 품질을 동적으로 균형 맞추며, 재학습 없이 이미지·비디오 생성·편집 파이프라인에 바로 적용할 수 있다. 실험 결과 2.6배 이상의 속도 향상을 보이며 출력 품질은 거의 유지된다.

상세 분석

FastFlow는 흐름 매칭 모델이 학습 과정에서 선형에 가까운 궤적을 따르는 특성을 활용한다. 기존에는 매 타임스텝마다 신경망 M 이 v(x_t,t) 를 계산해 Euler 방식으로 상태 x_t 를 업데이트했지만, 실제로 많은 단계에서 속도 변화가 거의 없으며, 이러한 “중복” 단계는 계산 비용만 낭비한다는 점을 발견했다. 이를 해결하기 위해 FastFlow는 최근 몇 단계에서 얻은 속도값들을 이용해 유한 차분 형태의 1차 테일러 전개
 v̂(x_{t+Δt},t+Δt) ≈ v(x_t,t) + Δt·(v(x_t,t)−v(x_{p},t_{p}))/(t−t_{p})
를 적용한다. 이 식은 실제 모델 호출 없이도 다음 m 스텝을 근사적으로 전진시킬 수 있게 해, “제로 컴퓨팅 비용”의 추정기를 만든다.

핵심 문제는 언제까지 근사를 허용하고, 어느 시점에 정확한 모델 평가로 되돌아가야 하는가이다. FastFlow는 이를 다중 팔 밴딧(MAB) 문제로 정형화한다. 각 타임스텝 t 마다 가능한 스킵 길이 α∈A_t (예: 1~5 스텝)를 하나의 팔로 두고, 선택된 α 에 대해
 r(α)=μ·α−ℓ( v̂ , v ) 
라는 보상을 정의한다. 여기서 μ 는 속도와 정확도 사이의 트레이드오프 가중치이며, ℓ 은 평균 제곱 오차 등으로 측정한다. 밴딧은 Upper‑Confidence‑Bound(UCB)와 같은 탐험‑활용 전략을 사용해, 과거 보상 정보를 바탕으로 스킵 길이를 동적으로 조정한다. 즉, 궤적이 평탄하고 오류가 작을 때는 큰 α 를 선택해 연속적인 근사를 수행하고, 급격히 변하는 구간에서는 즉시 모델을 호출해 오류 누적을 방지한다.

이론적으로는 Theorem 3.1을 통해, 전체 T 스텝 중 |S| 개의 스텝을 근사했을 때 최종 상태 오차 e_T 가 O(|S|·Δt³) (또는 논문 표기대로 O(|S| T³)) 로 제한된다는 경계가 제시된다. 이는 스킵 수가 늘어날수록 오차가 선형적으로 증가하지만, 작은 Δt (즉, 많은 스텝)에서는 충분히 억제 가능함을 의미한다.

FastFlow는 별도의 보조 네트워크나 재학습 과정을 요구하지 않는다. 기존 흐름 매칭 모델의 입력‑출력 인터페이스만 그대로 사용하고, 밴딧 로직과 유한 차분 근사 모듈을 삽입하면 된다. 실험에서는 텍스트‑투‑이미지, 이미지 편집, 텍스트‑투‑비디오 등 다양한 작업에 적용했으며, 평균 2.6× 이상의 속도 향상을 달성하면서 FID, IS, LPIPS 등 정량적 품질 지표는 미세한 감소에 그쳤다. 특히, 복잡한 장면이나 빠른 움직임이 있는 비디오에서는 밴딧이 자동으로 스킵 길이를 축소해 품질 저하를 방지하는 모습을 보였다.

요약하면, FastFlow는 (1) 흐름 매칭 모델의 선형 궤적 특성을 이용한 저비용 근사, (2) 다중 팔 밴딧을 통한 적응형 스킵 결정, (3) 이론적 오류 경계와 실험적 검증을 결합해, 재학습 없이도 다양한 비전 생성 파이프라인에 즉시 적용 가능한 가속 솔루션을 제공한다.