컴포저블 비주얼 토크나이저와 학습 가능성 진단

초록

CompTok은 토큰‑조건부 확산 디코더와 InfoGAN‑스타일 손실을 결합해, 토큰이 무시되지 않도록 강제하고 토큰 교환을 통한 합성 제어를 학습한다. 또한 토큰 공간의 활용도와 학습 난이도를 평가하는 AvgIG와 MC 두 지표를 제안한다. 실험 결과, 제안 방식이 기존 토크나이저보다 재구성·생성 품질과 토큰의 구성 가능성을 모두 향상시킨다.

상세 분석

CompTok은 1차원 시퀀스 형태의 비주얼 토크나이저를 대상으로 설계되었다. 핵심 아이디어는 두 단계의 학습 경로—재구성 경로와 토큰 교환 경로—를 동시에 최적화함으로써 토큰 자체가 디코더에 필수적인 제어 변수로 작동하도록 만드는 것이다. 재구성 경로에서는 기존의 확산 기반 디코더 D와 인코더 E를 사용하고, 디코딩된 이미지에서 토큰을 복원하는 인식 모델 Qϕ를 도입해 Mutual‑Information 손실 L_MI를 적용한다. 이는 디코더가 토큰을 무시하면 인식 모델이 높은 손실을 얻게 하여 토큰 활용을 강제한다.

토큰 교환 경로에서는 두 이미지의 토큰 서브셋을 교환한 혼합 토큰 z_swap을 생성하고, 이를 디코더에 입력한다. 교환된 토큰에 대한 실제 이미지 정답이 없으므로, 자연 이미지 분포에 머무르도록 하기 위해 adversarial flow regularizer ψ를 이용한 L_AFM 손실을 부과한다. 이 흐름 기반 정규화는 교환 후 이미지가 현실성을 유지하도록 하면서, 토큰 간의 상호작용이 의미 있게 학습되도록 돕는다.

CompTok이 제안하는 두 가지 토큰 품질 지표는 기존의 rFID(재구성 FID)와는 다른 차원을 측정한다. AvgIG는 무작위 초기 토큰에서 목표 이미지를 복원하기 위해 최적화할 때, 각 단계에서 얻어지는 정보량(비트) 평균을 계산한다. 높은 AvgIG는 디코더가 토큰 변화에 민감하게 반응한다는 의미이며, 토큰 무시(Token Neglect) 현상을 방지한다. Mode Connectivity(MC)는 인코더가 매핑한 인접 이미지 쌍 사이의 토큰 선형 보간 경로가 현실성 손실 L_ψ를 크게 초과하지 않는지를 평가한다. MC가 1에 가까울수록 토큰 공간이 연속적이고 낮은 장벽을 가진다(즉, 생성 모델이 쉽게 학습 가능).

실험에서는 VQ‑VAE, TiT, SEED 등 다양한 기존 토크나이저와 비교했으며, CompTok이 AvgIG와 MC 모두에서 우수함을 보였다. 특히 클래스‑조건 이미지 생성에서 gFID가 크게 개선되었으며, 토큰 교환을 통한 의미 편집(swap‑editing)도 정교하게 수행되었다. 이러한 결과는 토큰이 단순히 압축 정보를 담는 것을 넘어, 생성 모델이 직접 활용할 수 있는 구조적·연속적 표현으로 변환되었음을 시사한다.

요약하면, CompTok은 (1) 토큰‑조건부 확산 디코더와 InfoGAN‑style 상호정보 손실을 결합해 토큰 활용을 강제하고, (2) 토큰 교환과 adversarial flow 정규화를 통해 토큰의 합성 가능성을 학습하며, (3) AvgIG와 MC라는 두 개의 “generator‑free” 진단 지표로 토큰 공간의 학습 난이도와 구성 가능성을 정량화한다. 이 접근법은 토큰 기반 생성 파이프라인 전반의 효율성과 제어성을 크게 향상시킨다.