다중 스케일 시각 자동회귀 생성 위한 스케일드 스페이셜 가이드

초록

본 논문은 시각 자동회귀(VAR) 모델이 계층적 다중‑스케일 토큰을 생성할 때 발생하는 학습‑추론 차이를 정보‑이론적으로 분석하고, 고주파 정보를 강조하는 훈련‑무료 가이드인 스케일드 스페이셜 가이드(SSG)를 제안한다. SSG는 이전 스케일의 로그잇을 주파수 영역에서 보강하는 디스크리트 스페이셜 엔핸스먼트(DSE)와 잔차 β‑스케일링을 결합해 각 단계에서 새로운 세밀 정보를 효율적으로 주입한다. 실험 결과, 다양한 VAR 기반 토크나이저와 조건화 방식에 적용했을 때 이미지 품질·다양성 모두에서 일관된 향상을 보이며, 지연 시간은 거의 증가하지 않는다.

상세 분석

본 연구는 시각 자동회귀(VAR) 모델이 “다음‑스케일 예측”이라는 계층적 생성 방식을 채택함에도 불구하고, 모델 용량 제한과 누적 오류 때문에 실제 추론 시 고주파 세부 정보가 충분히 반영되지 않아 학습‑추론 불일치(train‑inference discrepancy)가 발생한다는 점을 지적한다. 이를 해결하기 위해 저자는 정보 병목(Information Bottleneck, IB) 원리를 역으로 적용한다. 전통적인 IB가 입력을 압축해 목표와의 상호 정보를 최대화하는 반면, VAR에서는 각 스케일 단계에서 이전 상태와 중복되지 않는 새로운 정보를 최대화해야 한다. 수식 전개를 통해 최적화 목표를 “새로운 고주파 성분(H(·))에 대한 상호 정보는 크게, 기존 저주파 성분(L(·))에 대한 상호 정보는 최소화”하는 형태로 정리한다.

이론적 목표를 실제 로그잇 수준에 옮기기 위해 저자는 ‘시맨틱 레지듀얼(semantic residual)’이라는 개념을 도입한다. 이는 현재 스케일의 로그잇 ℓ_k와 이전 스케일에서 보간·보강된 ‘프라이어 로그잇’ ℓ_prior의 차이 Δ_k = ℓ_k − ℓ_prior 로 정의된다. Δ_k는 고주파 세부 정보를 담고 있다고 가정하고, 이를 로그잇에 직접 가중치 β_k를 곱해 더함으로써 새로운 세부 정보를 강조한다. 최적화 문제는 2차 형태의 볼록 함수가 되며, 해는 ℓ_SSG_k = ℓ_k + β_k·Δ_k 로 간단히 구할 수 있다.

핵심은 ℓ_prior를 어떻게 생성하느냐인데, 저자는 주파수 영역에서의 보간이 가장 효과적이라고 주장한다. 구체적으로, 이전 단계 로그잇을 이산 코사인 변환(DCT)으로 주파수 스펙트럼으로 변환한 뒤, 공간적으로 선형 보간한 로그잇을 동일 변환해 고주파 성분을 얻는다. 이후 저주파 성분은 원본 DCT 결과에서, 고주파 성분은 보간된 DCT 결과에서 각각 취해 혼합하고 역변환(IDCT)함으로써 ℓ_prior를 만든다. 이를 ‘디스크리트 스페이셜 엔핸스먼트(Discrete Spatial Enhancement, DSE)’라 명명한다. DSE는 전역적인 에너지 보존과 주파수 밴드의 독립성을 보장해, 프라이어가 원본 저주파 구조를 왜곡하지 않으면서도 합리적인 고주파 추정을 제공한다.

SSG는 이 두 단계—DSE 기반 프라이어 생성과 β‑스케일링을 통한 로그잇 보정—를 추론 시에만 적용한다. 따라서 기존 사전 학습된 VAR 모델의 파라미터를 전혀 변경하지 않으며, 추가적인 전방 패스도 필요 없다. 연산 비용은 DCT/IDCT와 간단한 선형 연산에 국한돼, 전체 지연 시간에 미미한 영향을 미친다.

실험에서는 대표적인 VAR 모델(Tian et al., 2024; Tang et al., 2025; Han et al., 2025)과 다양한 토크나이저(하이브리드, 비트‑와이즈) 및 클래스·텍스트 조건화를 대상으로 SSG를 적용했다. 정량적으로는 FID, IS, LPIPS 등에서 일관된 개선을 보였으며, 특히 고주파 디테일이 강조된 이미지(예: 새의 부리, 텍스처)에서 시각적 차이가 두드러졌다. 다양성 측면에서도 샘플 간 변동성을 유지하거나 약간 증가시켰다. 중요한 점은 이러한 품질 향상이 기존 diffusion 기반 모델이나 추가적인 refinement 모듈과 비교해도 경쟁력을 유지하면서, 추론 단계 수는 그대로 유지된다는 것이다.

결론적으로, SSG는 “각 스케일이 새로운 고주파 정보를 독립적으로 추가하도록 강제”함으로써 VAR 모델의 근본적인 구조적 한계를 보완한다. 정보‑이론적 근거와 주파수‑도메인 구현을 결합한 이 접근법은 훈련‑무료이면서도 거의 비용이 들지 않아, 기존 VAR 파이프라인에 즉시 적용 가능한 실용적인 솔루션으로 평가된다.