AdaTSQ 시간 민감도 기반 확산 트랜스포머 양자화

초록

AdaTSQ는 확산 트랜스포머(DiT)의 시간적 특성을 활용한 사후 양자화(PTQ) 프레임워크이다. 단계별(시간 스텝) 비트폭을 파레토 최적화된 경로 탐색으로 동적으로 할당하고, 피셔 정보를 이용해 중요한 시점의 캘리브레이션 데이터를 가중치 최적화에 우선 반영한다. Flux‑Dev, Flux‑Schnell, Z‑Image, Wan2.1 등 4가지 최신 DiT 모델에 적용해 기존 SVDQuant·ViDiT‑Q 대비 품질·효율성 모두에서 우수함을 입증한다.

상세 분석

AdaTSQ는 기존 PTQ가 LLM에만 초점을 맞추고 정적 비트폭을 사용한다는 한계를 DiT에 그대로 적용했을 때 발생하는 품질 저하 문제를 근본적으로 해결한다. 핵심 아이디어는 ‘시간 민감도’를 정량화하기 위해 피셔 정보(Fisher Information)를 활용한다는 점이다. 논문에서는 각 레이어 l 와 시간 스텝 t 에 대해 Iₜ,ₗ = E