혼합 정밀도 PointPillars로 실시간 3D 객체 탐지 가속화

초록

본 논문은 LIDAR 기반 3D 객체 탐지 모델인 PointPillars에 혼합 정밀도 양자화 기법을 적용하여, INT8 양자화 시 발생하는 성능 저하를 최소화하고 TensorRT 배포 시 최대 2.5배의 레이턴시 감소를 달성한다. 민감도 레이어를 PTQ 기반으로 자동 탐색하고, 상위 k개 레이어를 FP16으로 유지하는 그리디 탐색을 통해 최적 혼합 정밀도 구성을 찾는다. 또한 캘리브레이션 데이터 수를 최소화해 극단값(outlier) 영향을 억제한다.

상세 분석

이 연구는 3D 라이다 데이터가 갖는 넓은 수치 분포와 극단값(outlier) 문제를 정밀도 혼합(mixed precision) 전략으로 해결한다는 점에서 의미가 크다. 기존 PTQ(Post‑Training Quantization) 방식은 전체 모델을 한 번에 INT8로 양자화하면 평균 정밀도(AP) 손실이 급격히 커지는 것이 일반적이었다. 저자들은 각 레이어를 하나씩 INT8로 변환하고 검증 데이터셋에서 AP40을 측정함으로써 레이어별 민감도를 정량화한다. 이때 가장 성능 저하가 큰 상위 k개 레이어를 FP16(또는 FP32)으로 유지하고, 나머지는 INT8로 두는 혼합 정밀도 구성을 제안한다.

민감도 탐색은 PTQ만으로 수행되므로 추가 학습 비용이 들지 않는다. 그러나 조합 탐색은 조합 수가 급증할 수 있기 때문에, 저자들은 “그리디” 방식으로 레이어를 민감도 순으로 정렬한 뒤, 1~k개의 레이어를 차례로 FP16으로 전환하는 k가지 후보만을 평가한다. 이렇게 제한된 후보군을 PTQ 혹은 QAT(Quantization‑Aware Training)로 재캘리브레이션하거나 미세 조정함으로써 최종 모델을 완성한다.

또한 캘리브레이션 데이터 양과 성능 사이의 역상관 관계를 실험적으로 확인한다. 라이다 포인트 클라우드는 희소하고 값의 범위가 넓어 소수의 샘플만으로도 극단값이 등장할 확률이 높다. 최소‑최대 캘리브레이션에서 극단값이 스케일 팩터(s)를 크게 만들면 양자화 오차가 증폭된다. 따라서 저자는 캘리브레이션 샘플을 4프레임 정도로 극단적으로 제한하여 스케일 팩터를 작게 유지하고, 그 결과 PTQ 모델의 mAP가 23.8% 향상되는 것을 보고한다.

실험은 KITTI 데이터셋을 사용했으며, MMDetection3D 프레임워크 위에 PointPillars를 구현한다. FP32 사전 학습 가중치를 초기값으로 사용하고, QAT에서는 학습률을 2×10⁻⁴로 조정한다. 변환 파이프라인은 PyTorch → ONNX → TensorRT이며, Jetson Orin과 RTX 4070Ti 두 하드웨어에서 레이턴시를 측정한다. 레이어별 레이턴시 측정 결과는 INT8이 대부분의 레이어에서 FP16·FP32보다 빠른 것을 확인한다(예: backbone.blocks.0.0은 FP32 1.382 ms → INT8 0.376 ms).

결과적으로, PTQ 기반 혼합 정밀도 모델은 FP32 대비 AP40 손실을 12% 수준으로 억제하면서, INT8 단일 정밀도 모델 대비 레이턴시를 1.82.5배 단축한다. QAT 기반 혼합 정밀도 모델은 FP32과 거의 동일한 AP40(≈75% vs 86% for car class) 성능을 유지하면서도 동일한 레이턴시 이점을 제공한다. 이와 같이, 저자는 정밀도 혼합과 캘리브레이션 데이터 최소화를 결합한 간단하지만 효과적인 파이프라인을 제시함으로써, 라이다 기반 3D 객체 탐지 모델을 엣지 디바이스에 실시간으로 배포할 수 있는 길을 열었다.