이미지 생성의 블랙박스를 열다: 모니터링 가능하고 제어 가능한 생성 AI를 위한 CoIG

초록

이 논문은 현재 고성능 이미지 생성 모델의 불투명한 내부 과정(‘블랙박스’) 문제를 해결하기 위해 ‘Chain-of-Image Generation(CoIG)’ 프레임워크를 제안합니다. 인간의 예술 창작 과정처럼 복잡한 프롬프트를 LLM이 단순한 단계별 지시로 분해하고, 이미지 모델이 이를 순차적으로 실행하며 이미지를 점진적으로 구축합니다. 이를 통해 각 생성 단계를 모니터링하고 개입할 수 있으며, ‘엔티티 붕괴’ 같은 실패 모드를 완화하고 모델의 신뢰성, 안전성, 제어력을 향상시킵니다.

상세 분석

본 논문의 핵심 기술적 기여는 이미지 생성 분야에 ‘모니터링 가능성(Monitorability)‘이라는 개념 체계를 처음으로 도입하고, 이를 구현하는 엔드투엔드 프레임워크인 CoIG를 제안한 점에 있습니다. 기존 확산 모델이나 패치 기반 자동회귀 모델은 모든 픽셀 또는 패치를 동시에 또는 비의미론적인 순서로 처리하여, 생성 중간에 특정 객체나 속성이 어떻게 형성되고 있는지 인간이 이해하거나 감시하기 어려웠습니다.

CoIG는 이 문제를 ‘의미론적 자동회귀’ 접근법으로 해결합니다. 핵심은 두 단계로, 첫째, LLM 기반의 ‘구성 전략 플래너(CSP)‘가 “갈색 배낭과 파란 양” 같은 복합 프롬프트를 “1. 배낭과 양의 위치를 정한다. 2. 배낭을 갈색으로 채운다. 3. 양을 파란색으로 채운다.” 같은 단계적 서브-프롬프트 시퀀스로 분해합니다. 이 시퀀스 자체가 인간이 읽고 검증할 수 있는 생성 ‘계획서’ 역할을 합니다. 둘째, ‘자동회귀 정제 모델(ARM)‘이 이 계획을 실행하며, 각 단계(I_t = T2I_edit(I_{t-1}, P_t))는 이전 이미지 상태를 명시적으로 조건으로 활용해 점진적으로 편집합니다. 이때 ‘구성적 잠금(compositional lock)’ 메커니즘을 통해 이전 단계에서 생성된 내용은 현재 프롬프트의 대상이 아닌 한 변경되지 않도록 유지되어, 각 단계의 시각적 변화가 명확하게 구분됩니다.

논문은 모니터링 가능성의 두 가지 핵심 속성인 ‘가독성(Readability)‘과 ‘인과적 관련성(Causal Relevance)‘을 정량화하는 새로운 평가 메트릭을 제안합니다. ‘CoIG 가독성’은 MLLM을 이용해 각 중간 이미지가 해당 서브-프롬프트의 내용을 명확히 반영하는지 평가합니다. ‘인과적 관련성’은 특정 중간 단계의 프롬프트를 의도적으로 변경했을 때(예: 빨간 사과 -> 파란 사과), 그 변경사항이 해당 중간 이미지에 나타날 뿐만 아니라 최종 이미지까지 지속적으로 반영되는지를 측정합니다. 이는 단순한 생성 품질 평가를 넘어, 생성 과정 자체의 투명성과 신뢰성을 수치화한 중요한 지표입니다.

또한, 논문이 주목한 ‘엔티티 붕괴(Entity Collapse)’ 문제는 유사한 다중 객체에 서로 다른 속성이 부여될 때 발생하는 모델의 한계를 잘 포착했습니다. CoIG는 복잡한 속성 바인딩 문제를 단순한 하위 문제들의 시퀀스로 분해함으로써, 객체별 속성을 독립적으로 처리하게 만들어 이러한 붕괴 현상을 효과적으로 완화합니다. 이는 언어 모델의 CoT가 복잡한 추론 문제를 해결하는 방식과 유사한 메커니즘입니다. 실험 결과, CoIG는 기존 프롬프트 엔지니어링 기법들보다 훨씬 우수한 모니터링 가능성 점수를 보였으며, 구성적 견고성(compositional robustness) 평가에서도 경쟁력 있는 성능을 유지했습니다.