EditScore 고신뢰도 보상 모델로 온라인 강화학습을 여는 이미지 편집 혁신

초록

본 논문은 이미지 편집에 특화된 고성능 보상 모델 EditScore와 이를 평가하기 위한 벤치마크 EditReward‑Bench를 제시한다. 13개의 다양한 편집 작업을 포함한 대규모 인간 라벨링 데이터셋을 기반으로 7B‑72B 규모의 모델을 학습시켰으며, 자체적인 자기‑앙상블 기법을 통해 GPT‑5 수준의 상용 VLM을 능가한다. 고품질 보상 신호를 활용해 OmniGen2에 온라인 강화학습(RL)을 적용한 결과, 편집 정확도와 일관성이 크게 향상된 최종 모델을 얻었다.

상세 분석

본 연구는 이미지 편집 분야에서 강화학습을 실용화하기 위한 ‘보상 모델’이라는 핵심 병목을 체계적으로 해소한다는 점에서 의미가 크다. 먼저 저자들은 기존 VLM 기반 보상 모델이 비용·스케일·정확도 측면에서 온라인 RL에 부적합하다는 실증적 증거를 제시한다. 특히 Qwen2.5‑VL‑72B와 같은 최신 오픈소스 VLM조차도 편집 지시와 결과 사이의 미세한 차이를 포착하지 못해 정책 붕괴(policy collapse)를 초래한다는 점을 강조한다.

이를 극복하기 위해 제안된 EditReward‑Bench는 13개의 세분화된 편집 태스크(Subject, Appearance, Scene, Advanced)를 11개의 최신 편집 모델(오픈소스·프로프라이어터리 모두)에서 생성된 이미지와 결합해, ‘프롬프트 충실도’, ‘일관성’, ‘전체 품질’이라는 3차원 평가 기준으로 인간 전문가가 3,072개의 선호 쌍(preference pairs)을 라벨링한다. 두 명의 전문가가 실시간 토론을 통해 합의에 도달하는 ‘Two‑Annotator Discussion Protocol’은 라벨 노이즈를 현저히 감소시켜, 기존 단일 라벨링 방식보다 12% 이상 높은 일관성을 확보한다.

보상 모델 자체는 Qwen2.5‑VL 시리즈를 기반으로 조건부 텍스트 생성 방식으로 fine‑tuning한다. 입력으로 (Instruction, Input Image, Output Image)을 받아 ‘Semantic Consistency(SC)’와 ‘Perceptual Quality(PQ)’를 각각 체인‑오브‑생각(chain‑of‑thought) 형태로 추론하고, 두 점수를 기하 평균하여 최종 스코어를 산출한다. 이 설계는 (1) 편집 지시와 실제 변형 사이의 의미적 일치도를 정량화하고, (2) 사진 실사성·아티팩트 여부를 별도로 평가함으로써 보상의 다면성을 확보한다.

또한, 모델의 생성적 특성을 활용한 ‘Inference‑time Ensembling’ 전략을 도입한다. 동일 입력에 대해 K번(보통 K=48) 독립적인 stochastic forward pass을 수행하고, 각 pass에서 얻은 스코어와 reasoning을 평균·투표 방식으로 집계한다. 이는 단일 추론 시 발생할 수 있는 변동성을 크게 완화하고, 인간 라벨과의 상관관계를 35% 포인트 상승시킨다.

성능 평가에서는 EditScore‑7B부터 72B까지 규모별 모델을 비교했으며, 72B 모델이 GPT‑5(프라프)와 동등하거나 이를 초과하는 정확도를 보였다. 특히 self‑ensemble을 적용한 72B 모델은 전체 13개 태스크에서 평균 92.3%의 선호 예측 정확도를 기록, 기존 최고점(86.7%)을 크게 앞섰다.

RL 적용 실험에서는 OmniGen2를 베이스 정책으로 삼아 PPO 기반 온라인 RL을 수행했으며, 보상 신호로 EditScore‑72B(ensemble)를 사용했다. 결과적으로 ‘프롬프트 충실도’ 점수가 8.4% 상승하고, ‘전체 품질’ 점수가 6.9% 개선되는 등 전반적인 편집 성능이 일관되게 향상되었다. 반면 동일 설정에서 Qwen2.5‑VL‑72B를 보상으로 사용할 경우, 정책이 급격히 불안정해지거나 성능이 오히려 감소하는 현상이 관찰되었다. 이는 고신뢰도 보상 모델이 RL 성공의 결정적 요인임을 실증한다.

마지막으로 저자들은 데이터·모델·평가·RL 파이프라인 전 단계에 걸친 오픈소스 공개 계획을 밝히며, 커뮤니티가 동일 벤치마크와 보상 모델을 재현·확장할 수 있도록 지원한다는 점도 주목할 만하다. 전체적으로 이 논문은 (1) 체계적인 벤치마크 구축, (2) 고품질 도메인‑특화 보상 모델 설계, (3) 효율적인 추론‑시간 앙상블, (4) RL 적용을 통한 실질적 성능 향상이라는 네 축을 통해 이미지 편집 분야에 RL을 본격 도입할 수 있는 로드맵을 제시한다.