스텝별 보상과 장기 효과를 모델링한 흐름 기반 GRPO 개선

초록

본 논문은 텍스트‑투‑이미지 생성에 사용되는 Flow Matching 모델에 GRPO를 적용할 때 발생하는 보상 희소성 문제를 해결한다. 단계별 증분 보상을 도입해 각 디노이징 스텝의 순수한 기여도를 추정하고, 보상 추세를 뒤바꾸는 “턴링 포인트”를 찾아 장기 영향을 집계함으로써 보다 밀도 높은 학습 신호와 정확한 크레딧 할당을 제공한다.

상세 분석

본 연구는 기존 Flow‑GRPO(Flo​w‑GRPO, DanceGRPO)에서 사용되는 “최종 이미지 보상”을 모든 중간 스텝에 동일하게 전파하는 방식이 갖는 두 가지 근본적인 한계를 지적한다. 첫째, 최종 보상은 전체 디노이징 궤적 전체의 누적 효과를 반영하므로 개별 스텝의 순수한 기여도를 분리하지 못한다. 이는 보상이 희소(sparse)하게 작용하게 만들고, 특히 보상이 감소하는 로컬 스텝을 잘못 강화하는 현상을 초래한다. 둘째, 현재의 그룹‑와이즈 랭킹은 동일 시간 단계(t)에서의 궤적 간 상대 순위만을 고려하고, 같은 궤적 내부에서 발생하는 “암시적 상호작용(implicit interaction)”을 무시한다. 디노이징 과정은 마코프 의사결정 과정(MDP)과 유사하게 이전 스텝이 이후 스텝의 초기 상태를 결정하므로, 초기 단계의 선택이 뒤따르는 여러 스텝에 걸쳐 누적적인 영향을 미친다.

이를 해결하기 위해 저자는 두 가지 핵심 기법을 제안한다.

1. 증분 기반 스텝‑와이즈 보상: 한 스텝의 SDE 샘플링 전후 이미지에 대해 동일한 평가 모델(R)로 보상을 측정하고, 그 차이를 “증분 보상”으로 정의한다. 이는 각 스텝이 실제로 얼마나 이미지 품질을 개선(또는 악화)했는지를 직접적으로 반영한다. 증분 보상은 연속적인 타임스텝에서 계산되므로 보상 신호가 밀도 있게 제공되어, 기존의 희소 보상 문제를 크게 완화한다.

2. 턴링 포인트 탐지 및 장기 보상 집계: 증분 보상의 부호 변화를 이용해 로컬 보상 추세가 전체 추세와 반대에서 일치로 전환되는 시점을 “턴링 포인트”로 정의한다. 구체적으로, 현재 스텝 t의 증분 보상 sign과 전체 트렌드 sign이 서로 반대였다가 t+1에서 다시 일치하면 해당 스텝을 턴링 포인트로 판단한다. 턴링 포인트는 이후 스텝들의 보상 흐름을 크게 전환시키는 역할을 하므로, 단순히 즉시 얻는 증분 보상만이 아니라 이후 전체 궤적에 미치는 장기 효과를 “집계된 장기 보상(aggregated long‑term reward)”으로 추가한다. 이 과정은 보상의 절대값 크기가 아니라 부호만을 이용하므로 하이퍼파라미터가 필요 없으며 계산 비용도 최소화된다.

알고리즘적으로는 기존 GRPO의 그룹 정규화(advantage normalization) 단계에서, 일반 스텝은 증분 보상 r_t을, 턴링 포인트는 집계된 장기 보상 r_agg_t을 사용한다. 이렇게 하면 정책 업데이트 시, 턴링 포인트와 같은 핵심 스텝이 더 큰 가중치를 받아 학습이 진행된다.

실험에서는 다양한 텍스트‑투‑이미지 벤치마크(예: MS‑COCO, LAION)와 여러 평가 지표(FID, CLIP‑Score, Human Preference)에서 TP‑GRPO가 기존 Flow‑GRPO 대비 일관된 성능 향상을 보였으며, 특히 복잡한 프롬프트에서 보상의 변동성이 큰 경우에 그 효과가 두드러졌다. 또한, 턴링 포인트 탐지 비용이 거의 없고, 하이퍼파라미터 튜닝이 필요 없다는 점에서 실용성이 높다.

이 논문은 “보상 희소성”과 “장기 크레딧 할당”이라는 두 핵심 문제를 동시에 해결함으로써, 흐름 기반 생성 모델에 RL‑style fine‑tuning을 적용할 때 발생하는 효율성 및 안정성 문제를 크게 개선한다는 점에서 의미가 크다.