컨시스타일: 훈련 없이 스타일 다양성을 유지하는 일관된 텍스트‑투‑이미지 생성

초록

컨시스타일은 텍스트‑투‑이미지 확산 모델에서 스타일 프롬프트가 달라져도 동일 인물·객체의 외형을 일관되게 유지하도록 설계된 훈련‑프리 방법이다. 이미지의 self‑attention에서 Query·Key는 기준(앵커) 이미지에서, Value는 스타일 전용 복제본에서 가져와 교차‑attention을 구성하고, AdaIN을 이용해 Value 통계만 정렬함으로써 스타일과 정체성을 효과적으로 분리한다. 실험 결과, 기존 파인‑튜닝·퍼스널라이제이션 방식보다 프롬프트와 스타일 일치도·주제 일관성 모두에서 우수함을 보인다.

상세 분석

본 논문은 텍스트‑투‑이미지(T2I) 생성에서 “스타일 다양성 + 주제 일관성”이라는 두 축을 동시에 만족시키는 최초의 훈련‑프리 접근법을 제안한다. 핵심 아이디어는 self‑attention 매트릭스의 Q, K, V를 역할별로 분리해 활용하는 것이다.

1. 앵커 이미지 기반 Q·K: 사용자가 정의한 ‘주제(인물·객체)’를 담은 하나 이상의 앵커 이미지를 입력으로 하여, 해당 이미지들의 Query와 Key를 추출한다. 이는 주제의 형태·구조적 특성을 보존하는 역할을 한다.
2. 스타일 전용 V 매트릭스: 동일 배치 내에서 스타일을 담당하는 별도 복제본(예: SDXL에서 동일 프롬프트만 바꾼 이미지)의 Value를 기록한다. 이 Value는 색채·질감·조명 등 스타일 정보를 담고 있다.
3. Cross‑Image Attention 확장: 기존 self‑attention의 K·V를 배치 내 다른 이미지들의 K·V와 결합한다. 구체적으로 K_i ←