양자화·희소화에 강인한 신경망 학습: 임의 정밀도와 희소도 지원

초록

본 논문은 양자화와 희소화가 도입하는 비연속성을 STE(직통 추정기)의 근본적인 한계로 규정하고, 이를 “양자화 오류를 무시하는 역전파”라고 명명한다. 저자는 양자화를 가산 노이즈로 모델링하고, 릿지 회귀 기반의 디노이징 역양자화 변환을 도입해 정규화된 그래디언트를 제공한다. 이 방법은 A1W1(1비트 가중치·활성) 및 서브 1비트 네트워크를 안정적으로 학습시키며, affine 양자화와 구조적 희소화까지 통합한다. 실험 결과는 최신 LLM에 대해 저장·에너지 효율 프론티어를 새롭게 정의하고, 기존 STE 기반 방법들을 크게 앞선 성능을 보인다.

상세 분석

이 논문은 양자화·희소화가 신경망 학습에 도입하는 비연속 연산을 “STE 블라인드 스팟”으로 정확히 규정한다. 기존 STE는 전방에서는 양자화 오류 δ를 반영하지만, 역전파에서는 ∂y/∂x를 1로 대체해 δ를 완전히 차단한다. 결과적으로 앞선 층은 양자화 노이즈에 대한 보정 신호를 전혀 받지 못해, 초저정밀(예: 1비트 가중치·활성) 상황에서 발산하거나 수렴이 매우 불안정해진다. 저자는 이를 해결하기 위해 양자화 연산을 “x → f(x) + δ” 형태의 가산 노이즈 모델로 재구성하고, δ를 그래디언트 흐름에서 명시적으로 포함시키는 디노이징 역양자화 변환 g를 설계한다. g는 릿지 회귀 목적함수
\