멀티모달 이미지 생성 테스트시 라틴트 추론

초록

MILR은 테스트 시에 이미지와 텍스트 토큰의 연속적인 라틴트 벡터를 공동으로 최적화하는 방법이다. 정책 그래디언트(REINFORCE)를 이용해 이미지 품질 평가지와 연계된 보상을 최대화하고, 모델 파라미터를 변경하지 않으며 라틴트 공간에서 교차‑모달 추론을 수행한다. GenEval, T2I‑CompBench, WISE 등 세 벤치마크에서 기존 최첨단을 뛰어넘는 성능을 기록하였다.

상세 분석

본 논문은 기존 이미지 생성 모델이 텍스트와 이미지 두 모달을 별도 혹은 순차적으로만 다루는 한계를 지적하고, 이를 통합 라틴트 공간에서 동시에 추론함으로써 해결한다. 핵심 아이디어는 사전 학습된 MUG(멀티모달 이해·생성) 모델의 중간 출력, 즉 텍스트와 이미지 토큰에 대응하는 d‑차원 벡터 z를 “라틴트 토큰”으로 간주하고, 테스트 단계에서 이 벡터들을 직접 업데이트하는 것이다. 업데이트는 REINFORCE 정책 그래디언트를 사용해 이루어지며, 보상 함수 R(V_f, c)는 생성된 이미지 V_f와 입력 명령 c 사이의 호환성을 평가한다. 파라미터를 고정하고 라틴트만 조정하기 때문에 모델 자체의 학습 비용이 전혀 추가되지 않는다.

구현상의 중요한 선택은 전체 토큰을 최적화하는 대신 텍스트 토큰의 앞부분 λ_t 비율과 이미지 토큰의 앞부분 λ_v 비율만을 조정하는 것이다. 실험에서는 λ_t=0.2, λ_v=0.02가 최적으로 밝혀졌으며, 이는 초기 토큰이 전체 구조를 결정한다는 가정에 기반한다. 텍스트 라틴트를 먼저 최적화한 뒤, 기존 MUG의 자동 회귀 디코더를 이용해 남은 텍스트 토큰을 생성하고, 이어 이미지 토큰을 디코딩한다. 이렇게 하면 라틴트 최적화 단계에서 얻은 전역적인 의미와 구성을 유지하면서도, 모델의 생성 능력을 충분히 활용할 수 있다.

보상 모델은 별도 파라미터가 필요 없는 MUG 자체를 활용하거나, 각 벤치마크가 제공하는 평가 메트릭을 그대로 사용한다. 정책 그래디언트는 샘플링된 (t, v) 쌍에 대해 한 번의 전방 패스로 얻은 로그 확률의 그라디언트를 계산하고, 보상과 곱해 업데이트한다. 학습률 η는 0.03으로 고정했으며, Adam 옵티마이저를 사용해 안정적인 수렴을 도모한다.

실험 결과는 세 가지 벤치마크 모두에서 현존하는 최첨단 모델을 능가한다. 특히 지식‑집중형 WISE에서는 0.63의 전체 점수로 베이스라인 대비 80% 향상을 달성했으며, 이는 라틴트 공간에서의 교차‑모달 추론이 복잡한 문화·시간적 지식을 효과적으로 반영한다는 증거다. 추가 분석에서는 라틴트 최적화 비율을 변화시켰을 때 성능이 급격히 떨어지는 것을 확인했으며, 이는 초기 토큰이 전체 이미지 구조를 좌우한다는 가설을 뒷받침한다. 또한, 텍스트와 이미지 라틴트를 동시에 최적화했을 때 단일 모달 최적화보다 높은 점수를 기록, 공동 추론의 시너지 효과를 입증한다.

제한점으로는 라틴트 탐색 비용이 테스트 시에 추가 연산을 요구한다는 점과, 보상 모델이 이미지‑텍스트 정합성을 완벽히 측정하지 못할 경우 최적화가 잘못된 방향으로 흐를 가능성이 있다. 향후 연구에서는 더 효율적인 라틴트 샘플링 전략, 다중 보상 모델 앙상블, 그리고 라틴트 공간 자체를 사전 학습해 초기화하는 방안을 모색할 수 있다.