LSGQuant: 레이어 민감도 기반 저비트 양자화로 실시간 영상 초해상도 구현

초록

본 논문은 원-스텝 디퓨전 기반 실세계 비디오 초해상도(VSR) 모델의 연산량과 메모리 부담을 낮추기 위해 레이어 민감도와 동적 범위에 맞춘 양자화 기법인 LSGQuant을 제안한다. 동적 범위 적응 양자화기(DRAQ), 분산 지향 레이어 학습 전략(VOLTS), 양자화 인식 최적화(QAO)를 결합해 4‑bit 양자화에서도 풀프리시전 성능에 근접하면서 파라미터와 연산량을 70% 이상 감소시킨다.

상세 분석

LSGQuant은 기존 디퓨전 트랜스포머(DiT) 기반 VSR 모델이 가진 고차원 토큰 표현과 폭넓은 동적 범위 문제를 두 단계로 해결한다. 첫 번째 단계인 Dynamic‑Range Adaptive Quantizer(DRAQ)는 각 채널별 최대 절대값을 실시간으로 스케일링하여 토큰 활성화를