모든 비트가 의미한다 양자화 트랜스포머의 정밀도와 표현력 트레이드오프

초록

본 논문은 트랜스포머 모델을 양자화할 때 사용되는 비트 수와 모델이 표현할 수 있는 함수 집합 사이의 정밀한 관계를 이론적으로 규명한다. 1‑층 소프트맥스 트랜스포머가 일정 비트 수(p) 이하의 고정소수점 연산으로는 특정 길이의 동일성 검사 함수(Equality)를 구현할 수 없으며, 정확히 p 비트가 있으면 구현 가능함을 증명한다. 이는 양자화가 모델의 표현력을 감소시키는 메커니즘을 한 비트 단위로 설명하고, 동일성 기반 작업에 대한 양자화 설계 가이드라인을 제공한다.

상세 분석

이 논문은 트랜스포머의 양자화가 단순히 연산 속도와 메모리 절감만을 목표로 하는 것이 아니라, 모델이 본질적으로 수행할 수 있는 함수의 종류와 복잡도에도 직접적인 영향을 미친다는 점을 정량적으로 보여준다. 핵심은 “TₙEQₘ”이라는 변형된 동일성 함수이다. 입력 길이 n이 충분히 크고, 비교하고자 하는 비트 쌍의 개수가 2^{p‑1}일 때, p 비트의 고정소수점 정밀도로는 정확히 이 함수를 구현할 수 있지만, p‑1 비트로는 불가능함을 보인다. 하위 한계는 통신 복잡도 이론을 활용해, 두 입력 파트가 서로 독립적인 정보를 가지고 있을 때 양자화된 연산이 전달할 수 있는 정보량이 제한됨을 증명한다. 구체적으로, 1‑층 트랜스포머의 어텐션 매트릭스와 소프트맥스 연산이 p‑1 비트 이하에서는 각 토큰 간의 미세한 차이를 구분할 수 없으며, 이는 동일성 판단에 필수적인 “0과 1 사이의 정확한 구분”을 방해한다. 반면, p 비트를 사용할 경우, 스케일링 파라미터와 바이어스를 적절히 설계해 정밀한 점수 값을 생성하고, 소프트맥스 후에 원하는 토큰에 정확히 1을 할당할 수 있다.

또한 부동소수점 형식에 대해서도 유사한 결과를 제시한다. 부동소수점은 가수와 지수 두 부분으로 구성되기 때문에, 가수 비트 수가 충분히 커야 동일성 판단에 필요한 미세한 차이를 보존할 수 있다. 논문은 선형 트랜스포머와 소프트맥스 트랜스포머 각각에 대해 거의 동일한 “한 비트 차이” 한계가 존재함을 보이며, 이는 양자화 설계 시 비트 할당을 단순히 “가능하면 적게” 하는 것이 아니라, 목표 작업의 구조적 요구사항에 맞춰야 함을 의미한다.

실질적인 함의는 다음과 같다. 첫째, 텍스트 매칭, 데이터베이스 키 검색, 패스워드 검증 등 정확한 동일성 검사가 핵심인 NLP 및 시스템 작업은 최소 p 비트 이상의 정밀도가 필요하다. 둘째, 양자화 후 미세 조정(Quantization‑Aware Training)이나 재학습을 통해 손실을 복구하려 해도, 비트 수 자체가 부족하면 근본적인 정보 손실이 발생해 회복이 불가능하다. 셋째, 이론적 한계는 실제 하드웨어 구현에서도 확인될 수 있는데, 예를 들어 INT8 대비 INT4에서 관찰되는 급격한 정확도 저하가 동일성 기반 서브태스크에서 특히 두드러진다. 마지막으로, 논문은 “정밀도‑표현력 트레이드오프”를 정량화함으로써, 양자화 전략을 설계할 때 작업별로 필요한 최소 비트 수를 사전에 계산할 수 있는 새로운 설계 프레임워크를 제공한다.