정밀도 낮아도 신뢰성 높아진다

초록

본 논문은 CLIP 기반 비전‑언어 모델을 16가지 양자화 기법과 10가지 아키텍처로 700 000회 이상 실험하여, 양자화가 단순 정확도 저하를 넘어서 캘리브레이션, OOD 탐지, 잡음에 대한 강건성 등을 동시에 향상시킬 수 있음을 밝혀냈다. 핵심 메커니즘은 양자화가 고차원(고‑랭크) 스펙트럼 성분을 억제하고 저차원(저‑랭크) 특징에 의존하도록 만드는 ‘스펙트럴 필터링’ 효과이다. 다만 데이터 분포 변동이나 스퓨리어스(허위) 상관관계에는 오히려 악영향을 미친다.

상세 분석

이 연구는 기존 양자화 연구가 주로 모델 크기·연산량 감소와 Top‑1 정확도 유지에 초점을 맞추던 흐름을 깨고, 신뢰성 지표 전반에 미치는 영향을 체계적으로 조사했다는 점에서 의의가 크다. 먼저 10개의 서로 다른 VLM(예: CLIP‑ViT, ConvNeXt, SigLIP, ALIGN, CoCa)을 선택하고, 시각 전용과 시각‑텍스트 동시 양자화 두 시나리오를 설정했다. 양자화 방법은 데이터‑프리 PTQ 8종과 데이터‑존재 QA‑T 8종으로 나뉘며, 각 방법마다 4‑bit, 6‑bit, 8‑bit 등 다양한 비트폭을 적용해 20160개의 조합을 만든 뒤, 700 k 이상의 평가를 수행했다.

평가 지표는 크게 다섯 축으로 구성된다. (1) 양자화 노이즈에 대한 견고성, (2) 기대 캘리브레이션 오류(ECE)와 불확실성 품질, (3) OOD 탐지(AUROC, FPR95) 성능, (4) 자연적·합성적 데이터 변동에 대한 정확도 변화, (5) 스퓨리어스 상관관계에 대한 민감도(ΔRSG, Added Vulnerability)이다. 실험 결과, 약 40 %의 양자화 모델이 캘리브레이션을 개선했고, 8.5 %는 정확도와 캘리브레이션을 동시에 향상시켰다. 특히 고‑랭크 스펙트럼 성분을 억제하는 ‘스펙트럴 저역통과’ 효과가 저‑랭크, 전역적인 특징을 강조해 잡음에 강하고 OOD 탐지 능력을 높이는 메커니즘으로 작용했다는 것이 핵심 발견이다.

하지만 이러한 장점은 모델의 ‘파라미터 여유(레드던시)’에 크게 의존한다. 저레드던시 영역에 속하는 작은 모델이나 노이즈가 많은 LAION‑2B 데이터로 사전학습된 모델은 양자화 시 성능 급락을 보였으며, 이는 고‑랭크 성분을 충분히 보유하지 못해 양자화 노이즈를 흡수할 여유가 없기 때문이다. 반면 고레드던시 영역에 있는 대형 모델이나 데이터 정제(DFA‑ViT)된 모델은 양자화 손실을 거의 겪지 않으며, 오히려 성능이 상승했다.

또한 QA‑T 방식은 PTQ와 달리 양자화 후 임베딩 공간을 재조정해 원본 FP32와의 유사도가 낮아도 정확도가 향상될 수 있음을 보여준다. 이는 양자화가 단순 압축이 아니라 새로운 최소점(플랫한 최소)으로 모델을 이동시키는 정규화 역할을 함을 시사한다. 다만 데이터 분포 변화(ImageNet‑A, R, V2, Sketch)와 스퓨리어스 상관관계(CounterAnimal)에서는 성능 저하가 관찰돼, 양자화가 세밀한 특징을 손실함으로써 일반화 한계가 드러난다.

결론적으로, 양자화는 ‘정밀도 감소 → 신뢰성 향상’이라는 역설적 현상을 일으키며, 특히 고‑레드던시, 고품질 사전학습 모델에 적용할 경우 연산 효율과 신뢰성을 동시에 확보할 수 있다. 다만 배포 환경에서 기대하는 변동 유형(노이즈 vs. 도메인 시프트)에 따라 양자화 전략을 신중히 선택해야 한다.