텍스트‑이미지 생성에서 확산 모델과 흐름 매칭을 위한 무미세조정 정렬 프레임워크

초록

본 논문은 텍스트‑이미지 생성 모델을 보상 가중 분포에서 샘플링하는 문제로 재정의하고, 이를 확산 모델에서는 스코어 가이던스, 흐름 매칭 모델에서는 속도 가이던스로 구현한다. 확산 모델의 경우, 보상 가이던스가 적대적 특성을 가져 이미지 품질 저하를 일으킬 수 있음을 발견하고, 가벼운 가이드 네트워크를 학습시켜 보상의 조건부 기대값을 추정함으로써 파인튜닝 없이도 1‑스텝 생성에서 기존 파인튜닝 기반 방법과 동등한 성능을 60 % 이상의 연산 비용 절감과 함께 달성한다. 흐름 매칭 모델에서는 추가 학습 없이도 정확한 속도 가이던스를 계산해 품질을 향상시킨다.

상세 분석

이 연구는 “보상‑가중 분포”라는 통계적 관점을 도입해 기존 RLHF·DPO 방식이 갖는 파인튜닝 의존성을 근본적으로 탈피한다. 확산 모델에서는 역시간 SDE의 스코어 함수 ∇ₓ log pₜ(x)에 보상 r(x,y) 의 조건부 기대값 Eₚ