한 번의 샘플로 고품질 손글씨 생성: 패치 대비 강화와 스타일 인식 양자화

초록

본 논문은 단일 레퍼런스 이미지만으로 다양한 필체를 고품질로 재현하는 손글씨 생성 모델 CONSTANT을 제안한다. 스타일을 이산 시각 토큰으로 표현하는 스타일‑인식 양자화(SAQ)와 토큰 간 구분을 강화하는 대비 손실(L S C E), 그리고 잠재 공간에서 다중 스케일 패치를 정렬하는 잠재 패치 대비 강화(L LatentPCE)를 결합해 기존 Diffusion 기반 방법보다 뛰어난 시각적 디테일과 스타일 일관성을 달성한다. 영어·중국어·베트남어 데이터셋에서 광범위한 실험을 수행해 최첨단 성능을 입증한다.

상세 분석

CONSTANT은 기존의 원‑샷 손글씨 생성 모델이 겪는 스타일 정보 손실과 잡음 민감성을 해결하기 위해 세 가지 핵심 메커니즘을 도입한다. 첫째, 스타일‑인식 양자화(SAQ) 모듈은 Inception‑V3 백본으로 추출한 다중 스케일 특징을 사전 정의된 코드북에 매핑해 이산 시각 토큰으로 변환한다. 이 토큰은 필체의 기본 개념(예: 획 굵기, 기울기, 연결성)을 의미하며, 연속적인 특징 벡터보다 잡음에 강하고 해석 가능성이 높다. 양자화 과정에서 VQ‑Loss와 Commitment Loss를 사용해 코드북이 의미 있는 클러스터를 형성하도록 학습한다. 둘째, 스타일 대비 강화(L S C E) 손실은 동일 작가의 레퍼런스와 타깃 특징 사이의 코사인 유사도를 최대화하고, 다른 작가의 특징과는 구분하도록 설계된 대조 학습이다. 이는 전역 스타일 표현 F_global을 이용해 작가 간 구분을 명확히 함으로써, 한 장의 이미지만으로도 작가 고유의 스타일을 효과적으로 추출한다. 셋째, 잠재 패치 대비 강화(L LatentPCE) 손실은 Diffusion 모델의 잠재 공간에서 다중 스케일 패치를 샘플링해 생성 이미지와 실제 이미지의 패치 간 상호 정보를 최대화한다. 기존의 단순한 denoising loss가 전역적인 일관성은 확보하지만 세부 디테일이 흐려지는 문제를 보완한다. 이 손실은 Patch‑Level Mutual Information을 최적화함으로써 획의 미세한 곡률, 잉크 농도, 연결 부위 등을 정밀하게 재현한다.
전체 학습 목표는 L = L_denoising + α·(L_LatentPCE + L_SCE + L_SAQ) 형태이며, α는 0.1로 설정해 보조 손실들의 영향을 적절히 조절한다. 모델은 Latent Diffusion Model(LDM)을 기반으로 하여 메모리 효율성을 유지하면서 고해상도 손글씨를 생성한다. 실험에서는 영어 IAM, 중국어 CASIA‑HWDB, 그리고 저자들이 새로 구축한 베트남어 ViHTGen 데이터셋을 사용해 스타일 적응성, 이미지 품질(FID, IS), 그리고 가독성(OCR 정확도) 측면에서 One‑DM, HiGAN+, Diff‑Font 등 기존 최첨단 모델을 크게 앞선다. 특히, SAQ와 L_SCE를 결합했을 때 스타일 일관성 점수가 12% 이상 상승했으며, L_LatentPCE를 추가하면 세부 디테일이 눈에 띄게 개선되어 인간 평가에서 선호도가 85%에 달한다.
이러한 설계는 단일 레퍼런스 이미지만으로도 복잡하고 다양하게 변하는 필체를 효과적으로 캡처하고, 생성 이미지의 시각적 리얼리즘과 가독성을 동시에 확보한다는 점에서 의미가 크다. 다만 코드북 크기(K)와 토큰 차원(D)의 선택이 모델 복잡도와 성능 사이의 트레이드오프를 만든다는 점, 그리고 대규모 다국어 데이터셋에서 코드북을 사전 학습하는 비용이 존재한다는 제한점도 언급된다. 향후 연구에서는 코드북을 메타‑러닝 방식으로 동적으로 확장하거나, 텍스트‑조건부 스타일 변형을 위한 교차‑언어 스타일 매핑을 탐색할 여지가 있다.