텍스트 가이더: 주의 정렬을 통한 훈련 없이 텍스트 렌더링 개선

초록

TextGuider는 MM‑DiT 기반 텍스트‑투‑이미지 모델에서 텍스트 누락을 방지하기 위해, 초기 디노이징 단계의 주의 맵을 정렬하는 두 가지 손실(분할 손실, 감싸기 손실)을 이용한 훈련‑무료 라테인트 가이던스를 제안한다. 이를 통해 OCR 재현율과 CLIP 점수가 크게 향상되며, 기존 AMO 샘플러보다 텍스트 완전성을 크게 개선한다.

상세 분석

본 논문은 최신 멀티모달 디퓨전 트랜스포머(MM‑DiT) 모델이 텍스트 렌더링 시 겪는 ‘텍스트 누락’ 현상을 정밀히 분석한다. 저자들은 성공적인 이미지와 실패한 이미지의 주의(attention) 맵을 비교하면서, 특히 인용 부호 토큰(‘"’ )과 텍스트 내용 토큰 사이의 초기 단계 주의 정렬이 텍스트가 이미지에 나타나는지를 결정한다는 사실을 발견했다. 성공 사례에서는 열림 인용 부호 토큰이 텍스트가 배치될 전체 영역을 넓게 커버하고, 각 내용 토큰은 자신만의 국소 영역에 집중한다. 반면 실패 사례에서는 이 두 종류 토큰 모두 주의가 약하거나 잘못된 위치에 머무르며, 결과적으로 텍스트가 이미지에 전혀 나타나지 않거나 부분적으로만 나타난다.

이 관찰을 기반으로 저자들은 두 가지 손실 함수를 설계했다. 첫 번째인 split loss는 모든 텍스트 내용 토큰 간의 주의 맵이 서로 겹치지 않도록 거리(dist) 함수를 최대화한다. 여기서 거리 함수는 정규화된 주의 맵을 확률 분포로 보고 대칭 KL 발산을 사용한다. 두 번째인 wrap loss는 열림 인용 부호 토큰의 주의 맵이 모든 내용 토큰의 주의 맵 합과 겹치도록 강제한다. 즉, 인용 부호가 텍스트 전체 영역을 ‘감싸는’ 형태가 되도록 한다.

훈련‑무료 라테인트 가이던스는 디노이징 단계 초기에 라테인트 Z_t에 위 두 손실의 그래디언트를 역전파하여 업데이트한다(Z’_t = Z_t – α∇_Z_t L). 이 과정은 기존 AMO 샘플러와 병행해 적용되며, 주의 정렬을 강화함으로써 텍스트가 이미지에 정확히 배치되도록 만든다.

실험에서는 Flux와 SD3 기반 모델에 TextGuider를 적용해 100여 개 프롬프트에 대해 OCR 기반 Recall, Precision, F1, 그리고 CLIP Score를 측정했다. 특히 Recall이 15~20%p 상승했으며, 텍스트 누락(완전·부분) 비율이 크게 감소했다. 정량적 분석에서는 ‘Attention Concentration Ratio’를 도입해 열림 인용 부호 토큰이 초기 단계에서 텍스트 영역에 집중하는 현상이 강화됨을 시각적으로 확인했다.

이와 같이 TextGuider는 훈련 없이 모델 내부 주의 정보를 활용해 텍스트 렌더링 품질을 크게 끌어올리는 실용적인 방법을 제공한다. 기존의 파인튜닝 기반 접근법이 요구하는 대규모 데이터와 연산 비용을 회피하면서도, 텍스트 누락 문제를 근본적으로 해결한다는 점에서 의미가 크다. 또한, 손실 설계가 일반적인 주의 정렬 문제에도 확장 가능하므로, 향후 다른 멀티모달 생성 작업(예: 객체 위치 제어, 레이아웃 조정)에도 응용될 잠재력이 있다.