요구 기반 적응형 진화적 텍스트‑이미지 정렬

초록

RAISE는 훈련 없이도 텍스트‑이미지 모델의 프롬프트‑이미지 정렬을 향상시키는 요구‑드리븐 적응형 진화 프레임워크이다. 요구 분석, 다중 행동 변이, 도구‑기반 검증을 순환하며, 필요에 따라 연산을 할당해 복잡한 프롬프트를 효율적으로 만족한다. GenEval·DrawBench에서 최첨단 성능을 기록하면서 샘플·VLM 호출을 크게 절감한다.

상세 분석

RAISE는 텍스트‑이미지 생성 과정을 “요구‑드리븐 적응형 스케일링”으로 재정의한다. 핵심은 세 가지 에이전트(분석기, 재작성기, 검증기)와 공통 VLM 백본을 활용해 프롬프트를 구조화된 체크리스트로 변환하고, 각 요구사항의 만족 여부를 이진 질문 형태로 추출한다. 분석기는 현재 라운드의 최우수 후보 이미지와 이전 피드백을 입력받아 만족·불만족 요구 집합(⁺, ⁻)과 진행/종료 결정(d_analyzer)을 출력한다. 불만족 요구가 존재하면 라운드가 계속되며, 요구 복잡도에 비례해 추가 연산이 할당된다.

다중 행동 변이 단계에서는 세 가지 상호 보완적인 변이 전략을 동시에 적용한다. ① 노이즈 재샘플링은 원 프롬프트를 유지하면서 초기 잠재 변수를 재생성해 시각적 다양성을 탐색한다. ② 프롬프트 재작성은 VLM 기반 언어 모델이 불만족 요구를 반영해 텍스트를 수정하거나 보강한다. ③ 지시 편집은 이미지‑편집 모델에 구체적인 편집 명령(예: “사람 추가”, “텍스트 굵게”)을 전달해 기존 이미지에 직접적인 변화를 가한다. 이러한 변이는 후보 집단을 병렬로 확장시켜 탐색 공간을 넓히고, 진화적 선택 과정에서 적합도 함수 f(y, x_user)를 통해 전역 최우수 후보를 지속적으로 업데이트한다.

검증기는 이미지 캡셔닝, 객체 검출, 깊이 추정 등 여러 비전 툴을 활용해 “객체 존재”, “속성”, “공간 관계”, “텍스트 삽입” 등 구체적 시각 증거를 추출한다. 추출된 증거는 사전에 정의된 이진 질문에 매핑되어 요구 만족 여부를 판단한다. 검증 결과는 다시 분석기에 피드백으로 돌아가 요구 리스트를 갱신하고, 불만족 항목에 대한 추가 변이를 트리거한다. 이 피드백 루프는 요구‑검증‑변이‑선택의 순환을 통해 점진적이고 해석 가능한 자기 교정 과정을 구현한다.

RAISE의 적응형 스케일링 메커니즘은 두 가지 종료 조건을 가진다. (1) 분석기가 모든 주요 요구가 만족됐다고 판단하면 “end” 신호를 보내고, (2) 검증기가 모든 요구(주요·보조)를 만족하면 True를 반환한다. 또한 최대 라운드 K_max와 최소 라운드 K_min를 설정해 탐색 깊이를 제어한다. 이러한 설계는 연산을 요구에 비례하게 할당함으로써 복잡한 프롬프트에 대해서는 더 많은 라운드와 후보를 사용하고, 간단한 프롬프트는 빠르게 종료한다.

실험에서는 FLUX.1‑dev 모델을 베이스로 GenEval(다중 객체·관계·속성)과 DrawBench(시각적 디테일)에서 평가했다. RAISE는 전체 GenEval 점수 0.94, VQAScore 0.885를 달성했으며, 기존 고정‑스텝 노이즈 스케일링이나 T2I‑Copilot 대비 생성 샘플을 30‑40% 감소, VLM 호출을 80% 절감했다. 또한 대규모 사전 학습이 필요한 Qwen‑Image‑RL, BAGEL, GPT‑Image1보다도 높은 정렬 성능을 보이며, 모델‑특정 파인튜닝 없이도 다양한 베이스 모델에 적용 가능함을 입증했다.

핵심 기여는 (1) 요구‑드리븐 적응형 스케일링 프레임워크, (2) 다중 행동 변이를 통한 후보 집단 진화, (3) 도구‑기반 구조화 검증으로 시각·언어 간 정합성을 정량화한 점이다. 이 접근은 훈련 비용 없이도 복합 프롬프트 정렬을 크게 향상시키며, 향후 텍스트‑이미지 생성 시스템에 자기‑교정 메커니즘을 도입하는 방향을 제시한다.