공간 체인오브생각으로 연결된 이해와 생성 모델

초록

본 논문은 멀티모달 대형 언어 모델(MLLM)의 공간 추론 능력을 활용해, 텍스트‑좌표 형식의 중간 표현을 diffusion 모델에 전달하는 “Spatial Chain‑of‑Thought(SCoT)” 프레임워크를 제안한다. 플러그‑인 방식으로 구현된 SCoT는 별도 사전학습 없이 MLLM이 생성한 객체‑별 바운딩 박스를 diffusion 모델이 직접 조건으로 사용하도록 하여, 복잡한 공간 제약을 정확히 만족하는 이미지 생성 및 편집을 가능하게 한다.

상세 분석

SCoT는 기존의 두 가지 브리지 방식—연속 특징 브리지와 텍스트 기반 브리지—의 한계를 극복한다. 연속 특징 브리지는 MLLM과 diffusion 모델을 공동 학습시켜 높은 연산 비용과 대규모 데이터 요구를 초래하지만, 텍스트 기반 브리지는 자연어로 공간 정보를 압축하면서 미세한 좌표와 이웃 관계가 손실된다. SCoT는 “텍스트‑좌표 인터리브” 형식을 도입해, MLLM이 생성한 구조화된 레이아웃 플랜을 바운딩 박스 형태로 직접 전달한다. 이 방식은 (1) 플러그‑인·플레이 특성을 유지해 MLLM 교체가 자유롭고, (2) 별도 사전학습 없이도 고밀도 공간 정보를 보존하며, (3) diffusion 모델이 좌표를 1차 조건으로 해석하도록 훈련함으로써 정확한 레이아웃 강제화가 가능하도록 설계되었다.

데이터 측면에서 저자들은 기존 COCO·RefCOCO와 같은 희박한 주석 데이터의 한계를 인식하고, Qwen‑3‑VL을 활용해 대규모 이미지에 상세 캡션과 객체‑레벨 바운딩 박스를 자동 주석한다. 이렇게 구축된 SCoT‑DenseBox는 복잡한 장면(다중 객체, 장거리 관계)에서 충분한 지도 신호를 제공한다. 동시에 미적 품질 저하를 방지하기 위해 SCoT‑AestheticSFT라는 고품질 합성 이미지 서브셋을 별도 SFT 단계에서 사용한다. 두 단계(프리트레인 → SFT) 학습 전략은 좌표 정밀도와 이미지 퀄리티 사이의 트레이드오프를 효과적으로 완화한다.

MLLM 플래너는 (i) 장면 파싱, (ii) 공간 계획, (iii) 바운딩 박스 할당이라는 세 단계로 구성된다. 예시로 교실 장면에서 “학생은 앞·뒤·좌·우가 비어 있어야 한다”는 제약을 파악하고, 체스보드 패턴처럼 좌표를 배치한다. 이렇게 생성된 Spatial CoT는 “whiteboard<|bbox|> … teacher<|bbox|> …”와 같은 인터리브 텍스트와 좌표 시퀀스로 변환돼 diffusion 모델에 입력된다. 모델은 기존의 텍스트‑조건 디퓨전 파이프라인에 최소한의 수정(좌표 토큰 파싱)만 추가해, 레이아웃 위반을 크게 감소시킨다.

실험에서는 GenEval, OneIG‑Bench, T2ICoReBench 등 다양한 텍스트‑투‑이미지 벤치마크에서 SCoT가 기존 연속·텍스트 브리지 대비 10% 이상 향상된 점수를 기록했다. 특히 복합적인 공간 논리(다중 객체 카운팅, 거리·방향 제약)에서 오류율이 현저히 낮았다. 이미지 편집 태스크(IVEdit)에서도 SCoT는 기존 레이아웃 기반 편집 방법보다 더 정밀한 객체 위치 조정과 자연스러운 결과를 보여준다.

한계점으로는 (1) 바운딩 박스 수준의 정밀도에 머무르며, 픽셀‑단위 마스크나 3D 깊이 정보까지는 다루지 못한다는 점, (2) MLLM 플래너의 오류(예: 부정확한 파싱) 시 전체 파이프라인이 영향을 받는 연쇄 오류 가능성, (3) 현재는 2D 평면 레이아웃에 초점을 맞추어 복합적인 시점 변환이나 원근감 표현에는 추가적인 모듈이 필요하다는 점을 들 수 있다. 향후 연구에서는 마스크 기반 세분화, 3D 좌표 확장, 그리고 플래너의 자체 검증 메커니즘을 도입해 견고성을 높이는 방향이 기대된다.