HunyuanImage 3.0 오픈소스 초대형 멀티모달 이미지 생성 모델

초록

HunyuanImage 3.0은 80 B 파라미터 규모의 Mixture‑of‑Experts 기반 대형 언어 모델에 비전 인코더와 VAE를 결합한 통합 멀티모달 아키텍처이다. 5 B 장의 고품질 이미지와 100 M 이미지‑쌍·멀티이미지 데이터를 정교히 필터링·캡셔닝하여 학습했으며, 텍스트‑투‑이미지, 이미지 이해, 단계적 편집까지 하나의 자동회귀 프레임워크에서 수행한다. 13 B 파라미터가 토큰당 활성화되는 효율적인 MoE 설계와 일반화‑인식‑생성 전용 체인‑오브‑쓰스(Chain‑of‑Thought) 스키마를 도입해 텍스트‑이미지 정렬과 시각적 품질에서 최신 폐쇄형 모델에 필적하거나 능가한다. 코드와 가중치를 공개해 커뮤니티가 자유롭게 확장·응용할 수 있도록 한다.

상세 분석

본 논문은 멀티모달 이해와 생성 작업을 하나의 autoregressive 모델에 통합한 HunyuanImage 3.0을 제안한다. 핵심은 80 B 파라미터를 보유한 Mixture‑of‑Experts(64 experts, 8 experts per token) LLM인 Hunyuan‑A13B를 베이스로, 이미지 입력을 처리하기 위해 두 개의 인코더(전통적인 Vision Encoder와 32‑dimensional latent space를 출력하는 VAE)를 병렬 연결하고, 각각을 LLM의 임베딩 공간에 투사하는 projector를 설계한 점이다. VAE는 16× 다운샘플링을 단일 단계로 구현해 기존 DiT‑style 8×+patchify 구조보다 구현 복잡성을 낮추면서도 고품질 이미지 재구성을 달성한다.

Attention 메커니즘에서는 텍스트 토큰은 전통적인 causal mask를 유지하고, 이미지 토큰은 같은 이미지 내부에서는 full‑attention을 허용하는 Generalized Causal Attention을 도입했다. 이는 텍스트의 순차적 생성 특성을 보존하면서 이미지 패치 간 전역 의존성을 효과적으로 학습하게 만든다.

데이터 측면에서는 10 B 원시 이미지 중 45 %만을 남기는 3단계 필터링 파이프라인을 구축했다. 저해상도·깨진 파일·과다·과소 노출·과다 포화 등을 제거하고, 워터마크·로고·AI‑generated content 등을 탐지하는 학습 기반 검출기를 적용했다. 또한 이미지 명료도·미학 점수를 기반으로 장르별 임계값을 조정했으며, 임베딩 클러스터 기반 중복 제거로 최종 5 B 고품질 이미지를 확보했다.

캡션 생성 파이프라인은 (1) 영어·중국어 이중 언어와 4단계 상세 수준을 갖는 계층적 스키마, (2) 필드별 조합을 통한 동적 데이터 증강, (3) OCR·Named‑Entity 에이전트를 활용한 사실 기반 검증 루프를 포함한다. 이를 통해 텍스트‑투‑이미지, 이미지‑투‑텍스트, 이미지‑편집 등 다양한 멀티모달 작업에 일관된 고품질 설명을 제공한다.

추론 단계에서는 Chain‑of‑Thought(CoT) 데이터를 활용해 “생각‑정제‑생성” 과정을 자동화한다. 텍스트‑투‑텍스트(T2T)와 텍스트‑투‑텍스트‑투‑이미지(T2TI), 이미지‑편집‑투‑텍스트‑편집(TI2TI) 등 세 가지 유형의 데이터셋을 통해 논리적 추론, 시각적 사양 전이, 단계적 편집 능력을 동시에 강화한다.

학습은 대규모 분산 인프라에서 진행되었으며, 사전학습된 LLM에 이미지 모듈을 추가 후 이미지 생성 전용 파인튜닝과 포스트‑트레이닝을 수행했다. 평가에서는 자동 메트릭(FID, CLIP‑Score)과 인간 평가를 모두 사용했으며, Seedream 4.0, Nano Banana, GPT‑Image 등 최신 폐쇄형 모델 대비 텍스트‑이미지 정렬과 시각적 퀄리티에서 동등하거나 우수한 결과를 보고했다.

전반적으로 HunyuanImage 3.0은 파라미터 효율성, 데이터 품질, 멀티모달 통합 설계, CoT 기반 추론이라는 네 축을 균형 있게 결합해, 오픈소스 환경에서도 최첨단 이미지 생성 성능을 구현한 점이 가장 큰 의의이다.