컴포지션 정밀성을 위한 카테고리 인식 보상 기반 초기 노이즈 최적화와 탐색

초록

CARINOX는 텍스트‑이미지 확산 모델의 컴포지션 오류를 해결하기 위해 초기 노이즈를 최적화와 탐색을 결합하고, 인간 판단과의 상관관계를 기반으로 보상 함수를 선택한다. 두 벤치마크에서 평균 정렬 점수를 각각 16 %와 11 % 향상시켰으며, 이미지 품질과 다양성을 유지한다.

상세 분석

본 논문은 최신 텍스트‑이미지 확산 모델이 복합적인 객체 관계, 속성 결합, 공간 배치 등을 정확히 반영하지 못하는 ‘컴포지션 불일치’ 문제를 집중 조명한다. 기존 연구는 크게 두 갈래로 나뉜다. 첫째, ReNO·InitNO와 같은 연속적인 초기 노이즈 최적화 기법은 보상 신호를 이용해 노이즈를 미분 가능하게 조정하지만, 초기값이 불량하거나 손실 지형이 복잡할 경우 최적화가 정체되거나 잘못된 로컬 최소점에 머무르는 취약점이 있다. 둘째, ImageSelect·SeedSelect·SemI와 같은 탐색 기반 방법은 다수의 시드를 무작위로 샘플링해 최고 점수를 얻은 이미지를 선택하지만, 고차원 라티스 공간에서 유효한 시드가 희소하기 때문에 수천 번의 샘플링이 필요하고, 계산 비용이 급증한다.

또한, 보상 함수 선택 자체가 핵심적인 병목임을 지적한다. 대부분의 선행 연구는 CLIP 기반 유사도, HPS, PickScore 등 단일 혹은 임의 조합의 메트릭을 사용한다. 그러나 이러한 메트릭은 ‘속성 바인딩’, ‘숫자 정확도’, ‘공간 관계’ 등 특정 컴포지션 요소와의 상관관계가 낮아, 최적화·탐색 과정에서 잘못된 신호를 제공한다.

CARINOX는 위 두 문제를 동시에 해결한다. (1) 초기 노이즈를 먼저 다수의 후보 시드로 탐색하고, 각 시드에 대해 제한된 단계의 그래디언트 기반 최적화를 수행한다. 탐색 단계는 넓은 탐색 공간을 보장하고, 최적화 단계는 발견된 유망 시드의 품질을 정밀하게 끌어올린다. (2) 보상 함수는 인간 평가와의 Pearson·Spearman 상관분석을 통해 7개의 후보 메트릭 중 상위 2~3개를 자동 선택한다. 이 과정은 ‘속성 일치’, ‘개체 수’, ‘공간 관계’ 등 각 컴포지션 카테고리별로 최적의 보상을 매핑함으로써, 단일 보상이 갖는 편향을 최소화한다.

실험에서는 Stable Diffusion‑Turbo, SD‑XL‑Turbo, PixArt‑α 등 세 가지 백본 모델을 T2I‑CompBench++와 HRS 벤치마크에 적용하였다. CARINOX는 평균 정렬 점수를 기존 최적화 기반(ReNO) 대비 1218 %p, 탐색 기반(ImageSelect) 대비 915 %p 상승시켰으며, 특히 ‘텍스처’, ‘숫자’, ‘공간 추론’ 카테고리에서 가장 큰 개선을 보였다. 이미지 품질(FID)과 다양성(IS) 지표는 거의 변동이 없었으며, 추가 연산 비용은 탐색 단계에서 32개의 시드와 5회의 최적화 반복을 사용해 기존 방법 대비 1.3배 정도에 머물렀다.

종합적으로, CARINOX는 초기 노이즈 공간을 효율적으로 탐색·정제하고, 인간 중심의 보상 선택을 통해 컴포지션 오류를 근본적으로 감소시키는 인퍼런스‑타임 프레임워크로 평가된다.