텍스트 절연과 주의 메커니즘을 활용한 복합 시각 텍스트 생성 혁신

초록

본 논문은 인간 시각 선택주의에서 영감을 얻어 “텍스트 절연‑주목” 메커니즘을 도입한 TextCrafter 프레임워크를 제안한다. Bottleneck‑aware Constrained Reinforcement Learning 기반 다중 텍스트 절연 기법과 Quotation‑guided Attention Gate를 활용한 텍스트‑지향 주의 모듈을 통해 기존 대형 모델(Qwen‑Image 등) 대비 파라미터 증가 없이 텍스트 렌더링 정확도를 크게 향상시킨다. 또한 2,000개의 복합 시각‑텍스트 프롬프트를 포함한 CVTG‑2K 벤치마크를 구축해 정량·정성 실험을 수행했으며, 4 GPU만 사용해 산업 수준 모델들을 능가하는 성능을 입증한다.

상세 분석

TextCrafter는 복합 시각 텍스트 생성(CVTG)이라는 특수 문제를 ‘용량 제한(capacity‑limited)’ 문제로 정의하고, 인간의 선택적 시각 주의(selective visual attention) 이론을 모델 설계에 직접 매핑한다. 핵심 아이디어는 “텍스트 절연(text insulation)”이다. 기존 Diffusion 기반 텍스트‑투‑이미지 모델은 전체 프롬프트를 하나의 연속된 시퀀스로 처리하면서, 다중 텍스트가 서로 간섭(interference)해 텍스트 누락, 오생성, 환각(hallucination) 현상이 빈번히 발생한다. 이를 해결하기 위해 저자들은 각 텍스트 인스턴스를 독립적인 객체로 취급하고, OCR‑기반 보상 함수를 이용해 개별 텍스트의 정확도를 직접 최적화한다. 특히 ‘Bottleneck‑aware’라는 용어는 보상 함수에 최악‑사례(min) 항을 삽입해, 전체 평균 성능이 아닌 가장 낮은 성능을 가진 텍스트가 개선될 때만 보상이 증가하도록 설계한 점을 의미한다. 이 설계는 텍스트 누락을 방지하고, “최약체” 텍스트가 전체 성능을 끌어내리는 현상을 완화한다.

보상 함수는 네 단계로 구성된다. 1) 목표 텍스트와 OCR 결과를 정규화하고 매핑한다. 2) 슬라이딩 윈도우 기반 퍼지 매칭을 통해 각 인스턴스별 유사도 s_i 를 계산한다. 3) 평균 성능과 bottleneck‑sensitive min(s_i) 를 가중 평균해 최종 보상을 산출한다. 4) 길이 기반 감쇠 λ 를 적용해 과다 생성 및 텍스트 환각을 억제한다. 이러한 RL‑based 절연 과정은 LoRA 형태의 경량 파라미터(≈0.1 %)만 추가 학습함으로써 기존 Qwen‑Image와 같은 대형 사전학습 모델의 구조를 그대로 유지한다.

두 번째 메커니즘은 “텍스트‑지향 주의(text‑oriented attention)”이다. 저자들은 인용부호(quotation marks)를 텍스트 영역의 공간적 앵커로 활용한다. 인용부호는 시각적으로 명확한 경계와 위치 정보를 제공하므로, 이를 부드러운 스무딩 → 주요 피크 보존 → 소프트 이진화 과정을 거친 ‘Attention Gate’에 입력한다. 결과적으로 텍스트 토큰의 어텐션이 해당 인용부호가 정의한 영역에 집중되며, 다른 텍스트와의 교차‑어텐션이 억제된다. 이는 인간이 시각적 장면에서 특정 객체에 주의를 집중할 때 주변 잡음을 차단하는 메커니즘과 일맥상통한다.

데이터 측면에서 저자들은 기존 시각‑텍스트 벤치마크가 단일 텍스트 혹은 고정 템플릿에 국한된 점을 지적하고, 2,000개의 복합 프롬프트(CVTG‑2K)와 400개의 난이도 높은 변형(CVTG‑Hard)을 새롭게 구축했다. 평균 단어 수 8.10, 문자 수 39.47로 기존 데이터보다 복잡도가 현저히 높으며, 영어·중국어 이중 언어, 색·폰트·크기 등 4가지 속성을 동시에 포함한다.

실험 결과는 세 가지 축에서 우수성을 보인다. ① 텍스트 절연만 적용해도 기존 최첨단 모델 대비 OCR‑F1 점수가 4~6% 상승한다. ② 텍스트‑지향 주의를 추가하면 평균 1.8%의 추가 향상이 관찰된다. ③ 전체 파이프라인을 4 GPU(24 GB) 환경에서 12 h 학습만으로 수행했음에도, Qwen‑Image(20 B 파라미터)와 같은 산업 규모 모델보다 텍스트 누락·오생성·환각 비율이 각각 30%~45% 낮았다.

한계점으로는 (1) 현재 보상 함수가 OCR 정확도에 크게 의존하므로 OCR 품질이 낮은 언어·폰트에 취약할 수 있다. (2) Quotation‑guided Gate는 인용부호가 명시된 경우에만 효과적이며, 인용부호가 없는 자연 장면에서는 별도 영역 추정기가 필요하다. (3) RL‑학습 단계가 추가적인 연산 비용을 초래하지만, 경량 LoRA 설계 덕분에 전체 파라미터 증가가 미미한 점은 긍정적이다. 향후 연구에서는 OCR‑free 보상 설계, 자동 영역 앵커 탐지, 그리고 텍스트‑외 시각 객체와의 공동 최적화를 통해 범용성을 확대할 여지가 있다.