미리보기 샘플 보상 안내로 빠른 확산 모델 스케일링

초록

본 논문은 테스트 시점에서 확산 모델의 샘플을 인간 의도에 더 가깝게 만들기 위해, 기대 미래 보상(EFR)을 사전 학습된 모델의 마진 샘플만으로 계산하는 새로운 방법을 제안한다. 이를 위해 “Lookahead Sample Reward Guidance”(LiDAR)라는 두 단계 샘플링 프레임워크를 설계했으며, 기존의 테일러 근사와 신경망 역전파를 필요로 하는 방법에 비해 9.5배 빠른 추론 속도와 동등한 성능을 달성한다.

상세 분석

LiDAR는 기존 테스트‑시간 스케일링 기법이 안고 있던 두 가지 핵심 문제, 즉 (1) 기대 미래 보상(EFR)을 계산하기 위해 매 타임스텝마다 신경망을 역전파해야 하는 높은 연산 비용과 (2) 테일러 1차 근사에 의존해 보상 함수가 최종 샘플 x₀에만 정의될 때 발생하는 근사 오차를 동시에 해결한다. 논문은 EFR을 “마진 샘플 x₀ ∼ pθ(x₀|c)”와 전방 퍼터베이션 커널 p(x_t|x₀)만을 이용해 표현할 수 있음을 정리(정리 3.1)하고, 이때 x_t는 신경망 입력이 아니라 확률적 변환을 통해 간접적으로만 연결된다. 따라서 x_t에 대한 미분을 수행할 필요 없이, 사전에 생성된 몇 개의 lookahead 샘플에 보상값 r(x₀,c) 을 부여하고, 이들 샘플에 대한 가중치 w_i ∝ exp(λ·r_i) 를 이용해 Stein 점수를 폐쇄형으로 보정한다(식 17).

효율성을 높이기 위해 저자들은 “lookahead sampling”을 도입한다. 여기서는 짧은 단계 수(예: 3‑step ODE solver)로 빠르게 마진 샘플을 생성하고, 이를 보상 함수에 평가한다. 이렇게 얻은 n개의 lookahead 샘플은 목표 샘플링 단계에서 가이드 벡터 s · ∇ₓₜ r̂_λₜ(x_t,c) 를 구성하는데 사용된다. 중요한 점은, lookahead 샘플의 수와 솔버 정확도가 증가할수록 목표 분포 pᵣθ와의 TV 거리 상한이 O(1/√δ) 로 수렴한다는 정리 3.3을 통해 이론적 수렴성을 보장한다는 것이다.

실험에서는 SDXL 기반 텍스트‑투‑이미지 모델에 LiDAR를 적용해, 기존 Gradient Guidance(테일러 기반)와 동일한 GenEval 점수를 9.5배 빠른 시간에 달성했다. 특히, 샘플 수 n = 3 과 3‑step lookahead만으로도 큰 성능 향상을 보였으며, lookahead 정확도와 샘플 수를 늘릴수록 성능이 급격히 상승한다는 점이 강조된다. 또한, SMC 방식이 고차원 이미지 공간에서 입자 붕괴 현상을 겪는 반면, LiDAR는 입자 수에 독립적으로 일관된 성능을 유지한다.

요약하면, LiDAR는 (1) 신경망 역전파를 완전히 배제한 테일러‑프리 방식, (2) 마진 샘플만으로 EFR을 정확히 추정하는 새로운 수식, (3) 효율적인 lookahead 샘플링 전략을 결합해, 테스트‑시간 스케일링에서 계산 효율성과 성능을 동시에 극대화한다는 점에서 확산 모델 연구에 중요한 전진을 제시한다.