메타데이터 강화 마이크로스케일링 포맷으로 저비트 양자화 효율성 극대화

초록

M2XFP는 블록 단위 공유 스케일링에 최소 메타데이터를 추가해 4비트 양자화 시 발생하는 정확도 손실을 크게 줄인다. 하드웨어 친화적인 설계와 온라인 양자화 인코딩을 결합해 기존 MXFP4 대비 평균 70.63%·NVFP4 대비 37.30% 정확도 손실을 감소시키고, 가속기 성능을 최대 1.91배, 에너지 효율을 1.75배 향상시킨다.

상세 분석

본 논문은 기존 저비트 마이크로스케일링(MX) 포맷이 공유 스케일링을 E8M0(2ⁿ) 형태로 고정함으로써 블록 내 최대값과 스케일이 정밀히 맞지 않아 발생하는 라운딩 오류가 정확도 저하의 주요 원인임을 실증한다. 특히 4비트 FP4 양자화에서 MXFP4는 블록 최대값을 파워‑오브‑투 스케일에 강제로 맞추게 되므로, 최대값이 두 지수 구간 사이에 위치할 경우 전체 블록이 과도하게 클리핑되거나 과소 표현된다. 저자들은 이러한 현상을 “Max‑value Preservation” 실험을 통해 확인했으며, 블록 최대값을 FP16으로 별도 보존하면 MXFP4의 퍼플렉시티가 거의 FP4 수준으로 회복됨을 보여준다.

이러한 분석을 바탕으로 설계 공간을 세 축(스케일링 팩터, 데이터 타입, 메타데이터)으로 분류하고, 특히 메타데이터 축이 아직 충분히 탐색되지 않았음을 강조한다. 기존 연구는 아웃라이어 중심의 스킴(OliVe)이나 구조적 메타데이터(MicroScopiQ) 등으로 메타데이터를 도입했지만, 전자는 텐서‑와이즈에만 유효하고 후자는 40비트 이상이라는 과도한 오버헤드를 가진다.

M2XFP는 두 가지 핵심 인사이트를 도출한다. 첫째, 활성값(activations)은 실행 시점에 동적으로 변하기 때문에 요소 수준(element‑level) 메타데이터가 가장 효율적이다. 저비트 양자화 과정에서 각 요소마다 0.25비트 정도의 추가 mantissa 비트를 부여하면, 실제 비트 효율은 4.5비트 수준이면서 FP16에 근접한 정확도를 달성한다. 둘째, 가중치(weights)는 사전 학습된 정적 분포를 가지므로, 서브그룹 수준(subgroup‑level) 메타데이터와 오프라인 스케일 탐색을 결합하면 메타데이터 오버헤드를 최소화하면서도 정밀도를 크게 향상시킬 수 있다.

하드웨어 측면에서는 기존 systolic array에 최소한의 확장만을 적용한다. 구체적으로는 (1) top‑1 디코드 유닛을 추가해 메타데이터를 실시간으로 추출·복원하고, (2) FP4×FP4 연산 유닛을 증강해 메타데이터 비트를 mantissa에 직접 합성, (3) 스트리밍 양자화 엔진을 도입해 블록 스케일과 메타데이터를 동시에 처리한다. 이러한 설계는 GEMM 파이프라인을 방해하지 않으며, 면적 증가율이 2% 이하, 전력 소모는 15% 미만으로 제한된다.

실험 결과는 LLaMA‑3.1(7B~70B) 등 다양한 규모의 LLM에 대해 수행되었다. 평균적으로 M2XFP는 MXFP4 대비 70.63%·NVFP4 대비 37.30% 정확도 손실을 감소시켰으며, 가속기 성능은 최고 1.91배, 에너지 효율은 1.75배 향상되었다. 또한 메타데이터 오버헤드가 0.25비트/요소에 불과해 전체 메모리 사용량 증가가 미미하고, 기존 MXFP4와 동일한 메모리 대역폭 요구사항을 유지한다.

결론적으로, 메타데이터 축을 체계적으로 탐색하고 하드웨어와 알고리즘을 공동 설계함으로써 저비트 양자화의 정확도‑효율성 트레이드오프를 크게 완화할 수 있음을 입증한다. 이는 차세대 LLM 배포 환경에서 메모리·연산 비용을 최소화하면서도 높은 추론 품질을 유지하려는 실무자와 연구자 모두에게 중요한 설계 지침을 제공한다.