SVG T2I: VAE 없이 확장하는 텍스트 이미지 생성 모델

초록

본 연구는 VAE를 사용하지 않고 Visual Foundation Model(VFM)의 표현 공간에서 직접 대규모 텍스트-이미지 확산 모델을 학습하는 SVG-T2I를 제안합니다. DINOv3 특징을 활용한 이 모델은 GenEval에서 0.75, DPG-Bench에서 85.78의 경쟁력 있는 성능을 달성하며, VFM 표현이 생성 작업에 충분한 능력을 가짐을 입증했습니다. 전체 파이프라인과 가중치를 공개하여 후속 연구를 촉진합니다.

상세 분석

SVG-T2I의 핵심 기술적 통찰은 기존 VAE 기반 잠재 공간 대신 사전 학습된 Visual Foundation Model(DINOv3)의 고차원 특징 공간에서 직접 확산 모델을 학습한다는 점입니다. 이 접근법은 몇 가지 중요한 장점을 제공합니다. 첫째, VAE의 비구조적이고 의미론이 부족한 잠재 공간의 한계를 극복하여 이해(understanding), 지각(perception), 생성(generation)을 위한 통합된 표현 공간 사용 가능성을 열어줍니다. 둘째, 고해상도 생성에서 DINOv3 특징만으로도 충분한 세부 정보를 보존할 수 있어, SVG의 잔류 인코더를 선택적으로 제거할 수 있는 단순화된 아키텍처(autoencoder-P)를 가능하게 합니다. 이는 더 일반화 가능하고 재사용성이 높은 패러다임으로 이어집니다.

학습 전략 또한 주목할 만합니다. 모델은 Unified Next-DiT라는 단일 스트림 아키텍처를 채택하여 텍스트와 이미지 토큰을 통합 처리함으로써 파라미터 효율성과 자연스러운 크로스모달 상호작용을 달성했습니다. 학습은 점진적 전략을 따릅니다: 오토인코더는 저해상도(256) 사전 학습 후 고해상도(512, 1024) 미세 조정을 거치고, DiT 모델은 저해상도에서 고해상도, 마지막으로 고품질 미학 데이터로의 4단계 점진적 학습을 통해 텍스트-이미지 정렬과 세부 묘사 능력을 단계적으로 향상시킵니다.

핵심 과제는 VFM 표현의 고차원성과 계산 비용, 그리고 생성 품질과 의미론적 일관성 사이의 최적 균형 찾기입니다. 실험 결과는 VFM 특징이 생성 작업에 효과적임을 보여주지만, VAE 특징에 비해 상대적인 스케일 불변성이 부족할 수 있다는 한계도 함께 제시합니다. 이 연구는 VAE에 의존하지 않는 새로운 생성 모델 패러다임의 실현 가능성을 검증하는 중요한 초기 대규모 연구로서 의미가 있습니다.