참조 이미지 기반 조건부 텍스트‑투‑이미지 생성

초록

**
본 논문은 Stable Diffusion에 이미지 참조 조건을 추가하고, 저용량 LoRA 플러그인으로 영어·다국어 장면 텍스트와 로고를 정확히 생성하는 방법을 제안한다. VAE로 인코딩한 참조 이미지와 위치 마스크를 UNet 입력에 결합하고, OCR·로고 분류 보조 네트워크와 손실을 함께 학습한다. 28.55 M 파라미터 이하의 플러그인만으로 기존 방법을 크게 능가하는 정확도와 화질을 달성한다.

**

상세 분석

**
이 연구는 텍스트‑투‑이미지 확산 모델이 텍스트 스펠링이나 로고와 같은 구체적인 시각적 요소를 정확히 재현하지 못한다는 근본적인 한계를 ‘참조 이미지’를 통해 보완한다는 점에서 혁신적이다. 핵심 아이디어는 기존 Stable Diffusion(UNet) 구조에 별도의 이미지 처리 브랜치를 도입하는 대신, 동일한 VAE 인코더를 이용해 참조 이미지를 잠재공간(latent space)으로 직접 매핑하고, 이를 기존 노이즈 라티스와 결합(concat)하는 것이다. 이때 위치 마스크(m)로 참조 대상의 영역을 명시함으로써 모델이 불필요한 부분을 무시하고 필요한 영역에만 집중하도록 유도한다.

입력 채널이 기존 4c(노이즈 라티스)에서 2c+1 로 증가하므로, 추가 입력 Conv2 레이어를 삽입해 차원을 맞춘 뒤 원래 Conv1과 특성 맵을 element‑wise 합산한다. 이렇게 하면 UNet 내부 구조를 크게 변경하지 않으면서도 새로운 조건을 효율적으로 수용한다. 파라미터 효율성을 위해 Low‑Rank Adaptation(LoRA) 방식을 적용, 전체 UNet을 미세조정하는 대신 소수의 어댑터 파라미터(최대 28.55 M)만 학습한다.

세부 플러그인 설계는 작업별 특성을 반영한다.

1. 영어 장면 텍스트 플러그인 – OCR 검출기로 텍스트 위치를 자동 추출, 해당 영역에 원하는 문자열을 렌더링한 참조 이미지를 생성한다. 학습 시 RoIAlign으로 추출한 영역을 경량 텍스트 인식 네트워크에 입력해 인식 손실(L_recog)을 계산, 스펠링 정확도를 직접 최적화한다.
2. 다국어 장면 텍스트 플러그인 – 영어 OCR 데이터와 합성된 다국어 이미지(그리스, 러시아, 태국 등)를 혼합 학습한다. 합성 데이터에 대해서는 손실 스케일링 파라미터 α를 도입해 합성 이미지가 모델에 과도히 영향을 주는 것을 방지한다. 문자 집합을 확장해 다국어 알파벳을 모두 포함한다.
3. 로고 생성 플러그인 – 로고를 배경 캔버스에 붙인 참조 이미지를 사용하고, RoIAlign 후 로고 분류 네트워크(ψ_logo)로 로고 정체성을 학습한다. 제한된 로고 클래스에도 불구하고, 학습된 모델은 미보유 로고에 대해서도 일반화 능력을 보인다.

실험 결과, 영어 장면 텍스트 정확도 61.73 %, 다국어 46.88 %, 로고 44.07 %를 기록하며, 기존 TextDiffuser·GlyphDraw 등과 비교해 크게 앞선 성능을 보였다. 또한 파라미터 효율성(28.55 M 이하)과 메모리 요구량 감소가 실용적이다.

하지만 몇 가지 제한점도 존재한다. 첫째, 마스크와 참조 이미지 생성이 사전 처리 단계에 의존하므로, OCR 정확도나 폰트·배경 선택에 따라 최종 품질이 크게 변동한다. 둘째, 합성 데이터에 대한 손실 스케일링은 경험적 튜닝이 필요하며, 데이터 도메인이 크게 달라질 경우 재조정이 요구된다. 셋째, 현재는 텍스트와 로고에 특화된 보조 네트워크를 별도로 학습해야 하므로, 완전한 ‘원-스톱’ 솔루션이라기보다는 작업별 플러그인 관리가 필요하다.

향후 연구 방향으로는 (1) 마스크 자동 생성 및 참조 이미지 선택을 end‑to‑end 방식으로 통합, (2) 다양한 시각적 개념(예: 패턴, 질감)으로 확장 가능한 범용 플러그인 프레임워크, (3) 대규모 멀티모달 사전학습을 통한 파라미터 절감 및 일반화 능력 강화 등을 제시한다.

**