텍스트‑투‑이미지 합성을 위한 올인원 장면그래프 기반 ASQL 컨디셔너

초록

**
본 논문은 복합 프롬프트의 객체, 속성, 크기, 수량, 위치 정보를 장면그래프와 경량 LLM으로 추출한 뒤, 확산 모델의 추론 단계에서 소프트 가이드를 적용하는 ASQL(속성‑크기‑수량‑위치) 컨디셔너를 제안한다. 사전 학습이나 레이아웃 고정 없이 제로샷으로 동작하며, 기존 확산 기반 텍스트‑투‑이미지 모델에 플러그인 형태로 삽입해 구조적 일관성과 다양성을 동시에 향상시킨다.

**

상세 분석

**
이 연구는 텍스트‑투‑이미지 생성에서 “구성(compositionality)” 문제를 해결하기 위해 두 가지 핵심 아이디어를 결합한다. 첫 번째는 장면그래프(scene graph) 를 중간 표현으로 활용해 텍스트에 내재된 객체‑관계 구조를 명시적으로 추출한다는 점이다. 기존 연구들은 장면그래프를 텍스트 임베딩을 보강하거나 별도의 레이아웃 네트워크를 학습시키는 방식으로 사용했지만, 본 논문은 제로샷 접근을 택한다. 즉, 사전 학습된 대규모 언어 모델(LLM)을 가벼운 프롬프트 체인에 적용해 “속성‑크기‑수량‑위치(ASQL)” 정보를 자동으로 생성한다. 여기서 LLM은 텍스트와 장면그래프를 입력받아 객체들의 상대적 크기 순서, 절대적 격자 위치, 그리고 수량에 따른 영역 분할 정보를 출력한다.

두 번째 핵심은 추론‑시점(diffusion) 최적화이다. 기존 확산 모델은 텍스트 임베딩을 크로스‑어텐션에 직접 삽입해 이미지 노이즈를 점진적으로 제거한다. 본 논문은 이 과정에 소프트 가이드 손실 L_ASQL을 삽입한다. 구체적으로, 각 디노이징 타임스텝 t에서 어텐션 맵 A_t를 시그모이드‑스케일링한 ˜A_t와 LLM이 제공한 가이드(속성, 크기, 위치, 수량) 사이에 BCE, 힌지, L1 등 여러 형태의 손실을 정의한다. 특히 퍼지 클러스터링을 이용해 격자 셀을 객체에 할당하고, 수량이 큰 객체는 해당 영역을 균등히 서브‑리전으로 나누어 “Quantity Injection”을 수행한다. 이렇게 얻어진 마스크는 어텐션 맵과 곱해져 객체‑속성 간 누수를 억제하고, 크기 순서 손실 L_size는 큰 객체가 작은 객체보다 더 넓은 어텐션 영역을 차지하도록 강제한다.

기술적 장점으로는 (1) 레이아웃 고정이 없으므로 이미지 생성 중 동적으로 공간 구성을 조정할 수 있어 자연스러운 구도가 가능하고, (2) 경량 LLM을 사용해 별도 대규모 파인튜닝 없이도 복합 프롬프트를 해석한다는 점, (3) 플러그인 형태라 기존 확산 모델(Stable Diffusion, PixArt‑α 등)에 바로 적용 가능하다는 점이다. 실험에서는 COCO‑Stuff, Visual Genome, 그리고 OpenImages‑V6와 같은 세 가지 벤치마크에서 FID, IS, 그리고 객체‑관계 정밀도에서 기존 최첨단 방법들을 앞선다며, 특히 “다중 객체·속성·관계”가 포함된 복합 프롬프트에서 눈에 띄는 개선을 보고한다.

하지만 몇 가지 한계도 존재한다. 첫째, LLM 의존성이 높아 LLM이 제공하는 가이드가 부정확하면 전체 파이프라인이 오히려 성능을 저하시킬 수 있다. 특히 소형 LLM은 복잡한 관계(예: “고양이가 모터사이클 위에 앉아 있다”)를 정확히 파악하지 못할 위험이 있다. 둘째, 추론‑시점 최적화는 매 타임스텝마다 추가적인 역전파와 손실 계산을 요구하므로, 원본 확산 모델 대비 연산 비용이 1.5~2배 정도 증가한다는 언급이 있지만 구체적인 시간·메모리 프로파일이 부족하다. 셋째, 평가가 주로 정량적 지표와 시각적 사례에 의존하고 있어, 인간 평가(Human Evaluation)나 실제 응용(예: 디자인, 게임 레벨 생성)에서의 유용성을 검증한 실험이 부족하다. 마지막으로, 제로샷이라 하면서도 프롬프트 설계 규칙(예: “size list”, “grid location” 등)을 요구하므로 완전한 자유 텍스트 입력에 대한 일반화는 아직 제한적일 수 있다.

종합하면, 이 논문은 장면그래프와 경량 LLM을 결합해 확산 기반 텍스트‑투‑이미지 모델에 소프트 구조적 가이드를 제공함으로써 복합 프롬프트의 구성 능력을 크게 향상시킨다. 향후 연구에서는 LLM‑가이드의 신뢰성을 높이는 방법, 추론‑시점 최적화 비용 절감, 그리고 인간 중심 평가를 통한 실용성 검증이 필요할 것이다.

**