가벼운 텍스트 이미지 생성 품질 향상을 위한 Naive PAINE

초록

Naive PAINE은 초기 노이즈와 프롬프트만을 이용해 이미지의 인간 선호 점수를 예측하고, 점수가 높은 몇 개의 노이즈만을 선택해 Diffusion Model에 전달함으로써 생성 품질을 향상시키는 경량 플러그인이다. 프롬프트 난이도에 대한 피드백도 제공한다.

상세 분석

본 논문은 확산 기반 텍스트‑이미지 생성 모델(DM)이 동일 프롬프트에도 무작위 초기 노이즈에 따라 결과가 크게 달라지는 문제를 ‘도박적 부담’이라고 정의한다. 기존 연구들은 노이즈를 직접 변형하거나 강화학습·미세조정을 통해 최적 노이즈를 찾는 방식을 제안했지만, 대부분은 특정 프롬프트에 대해 하나의 최적 노이즈만을 매핑한다. 저자들은 실험을 통해 프롬프트 자체가 선호 점수 분포의 평균(µ)과 분산(σ)을 결정하고, 동일 노이즈가 서로 다른 프롬프트에 대해 상관관계가 거의 없음을 확인했다. 이러한 통계적 특성을 기반으로, 초기 노이즈와 프롬프트를 입력으로 인간 선호 점수를 직접 예측하는 회귀 모델 Φ를 설계하였다. Φ는 프롬프트 인코더(예: CLIP, T5)와 노이즈 인코더로 구성되며, 두 인코더의 임베딩을 결합해 단일 스칼라 점수를 출력한다. 이 점수는 실제 이미지 생성 없이도 ‘예상 품질’이라 볼 수 있다.

Naive PAINE의 핵심 파이프라인은 다음과 같다. 1) 주어진 프롬프트를 여러 텍스트 인코더로 임베딩하고, 2) 무작위로 N개의 초기 노이즈 X_T를 샘플링한다. 3) Φ가 (프롬프트, 노이즈) 쌍마다 점수를 추정하고, 점수가 높은 상위 B개의 노이즈만을 선택해 기존 Diffusion 모델에 전달한다. 이렇게 하면 전체 이미지 생성 횟수를 크게 줄이면서도 높은 품질의 결과를 얻을 수 있다. 또한, Φ가 출력하는 평균 점수 µ̂_p는 해당 프롬프트에 대한 모델의 전반적인 생성 능력을 나타내는 ‘프롬프트 난이도 지표’로 활용된다.

경량성을 강조하기 위해 Φ는 완전 연결층과 작은 Transformer 블록으로 구현되었으며, 사전 학습된 인간 선호 메트릭(PickScore, HPS 등)을 레이블로 사용해 지도 학습한다. 실험에서는 Stable Diffusion XL, DreamShaper, HunYuan, PixArt‑Σ 등 네 가지 최신 T2I 모델에 적용했으며, 기존 노이즈 최적화 기법(Golden Noise 등) 대비 평균 선호 점수와 표준편차 모두에서 유의미한 개선을 보였다. 특히, 프롬프트가 어려운 경우에도 Φ가 제공하는 난이도 피드백을 통해 사용자는 사전에 기대 품질을 파악하고, 필요 시 프롬프트를 수정하거나 추가 시도를 최소화할 수 있다.

이 논문은 (1) 초기 노이즈와 프롬프트만으로 인간 선호 점수를 예측한다는 새로운 패러다임, (2) 프롬프트‑조건부 품질 분포를 정량화해 모델‑프롬프트 상호작용을 해석한다는 기여, (3) 기존 DM 파이프라인에 거의 비용 없이 삽입 가능한 경량 모듈을 제시한다는 점에서 의미가 크다. 향후 연구는 Φ의 인코더를 더 다양한 멀티모달 표현으로 확장하거나, 실시간 인터랙티브 환경에서 사용자 피드백을 반영하는 순환형 시스템으로 발전시킬 여지가 있다.