다중 카메라 3D 검출·추적을 위한 모델 최적화 전략

초록

본 논문은 Sparse4D 기반 다중 카메라 3D 검출·추적 시스템을 실무 적용 관점에서 최적화한다. 저프레임 레이트 강인성, 사후 양자화(INT8·FP8), WILDTRACK 벤치마크 전이, 그리고 NVIDIA Transformer Engine을 활용한 혼합 정밀도 미세조정을 각각 평가하고, 정체성 유지 지표인 AvgTrackDur를 도입해 아이덴티티 안정성을 정량화한다. 실험 결과, 중간 수준 FPS 감소에서는 추적 정확도가 유지되지만 2 FPS 이하에서는 아이덴티티 연결이 붕괴한다. 백본·넥스 selective 양자화가 가장 좋은 속도‑정확도 균형을 제공하고, 어텐션 모듈은 저정밀도에 민감함을 확인한다. 저프레임 사전학습이 WILDTRACK에서 큰 제로샷 이득을 주지만, 소규모 미세조정은 한정적인 향상만을 보인다. Transformer Engine 혼합 정밀도는 레이턴시를 감소시키고 카메라 확장성을 높이지만, 아이덴티티 전파 불안정을 야기할 수 있어 안정성 중심 검증이 필요하다.

상세 분석

본 연구는 Sparse4D라는 쿼리 기반 스파이오템포럴 3D 검출·추적 프레임워크를 실제 실내 외부‑인 배치 환경에 적용하기 위한 일련의 최적화 실험을 체계적으로 수행한다. 첫 번째 실험인 Low‑FPS Robustness에서는 AI City 2025 창고 데이터셋(30 FPS)을 이용해 프레임 스킵 비율을 조절하며 추적 성능 변화를 측정한다. 평가 지표는 기존 HOT A, Det A, Ass A, Loc A와 함께 새롭게 제안한 AvgTrackDur(평균 연속 아이덴티티 지속 시간)를 사용한다. 결과는 6 FPS까지는 검출·추적 정확도가 크게 떨어지지 않지만, 2 FPS 이하에서는 어텐션 기반 쿼리 업데이트와 메모리 전파가 충분히 빠른 움직임을 포착하지 못해 아이덴티티 매칭이 급격히 감소한다는 점을 보여준다. 이는 기존 칼만 필터 기반 모션 모델이 저프레임 상황에서 한계가 있음을 재확인한다.

두 번째 실험인 PTQ(Post‑Training Quantization)에서는 INT8 양자화를 A100 GPU에, FP8 양자화를 H100/H200 GPU에 적용한다. 양자화 범위는 백본, 넥스, 어텐션 모듈을 조합해 단계별로 확장한다. 양자화 전후의 레이턴시와 추적 지표를 비교한 결과, 백본·넥스만 INT8으로 양자화했을 때 FPS가 1.8배 상승하면서도 AvgTrackDur와 Ass A가 2~3 % 이하로 감소하는 최적의 트레이드오프가 도출된다. 반면 어텐션 레이어를 INT8으로 강제하면 활성화 스케일링 오버플로와 정밀도 손실이 급격히 발생해 AvgTrackDur가 30 % 이상 급감한다. FP8 양자화는 메모리 대역폭을 크게 절감하지만, 동일하게 어텐션 연산에 대한 민감도가 높아 선택적 양자화가 필수적이다.

세 번째 실험은 WILDTRACK 데이터셋(2 FPS, 야외 환경)으로의 전이이다. 저자들은 데이터 포맷 변환, 3D 앵커 재생성, 손실 함수 재구성 등 전처리 파이프라인을 구축하고, 두 가지 사전학습 체크포인트(기본 AI City와 저프레임 COSMOS‑augmented)를 사용한다. Zero‑shot 전이 결과, COSMOS‑pretrained 체크포인트는 AvgTrackDur가 1.9 s에서 3.2 s로 크게 향상되었으며, 이는 저프레임 사전학습이 시간적 일관성을 강화함을 시사한다. 그러나 WILDTRACK에 대한 소규모 미세조정(10 epoch)은 검출 정확도(Det A)와 위치 정확도(Loc A)에서 미미한 개선만을 보였고, 오히려 과적합 위험이 존재한다.

마지막으로 Transformer Engine(TE) 기반 혼합 정밀도 미세조정을 수행한다. 저자는 첫 번째 디코더 레이어와 앵커 인코더를 FP8 연산으로 전환하고, 나머지는 FP16 유지한다. 22,500 스텝(≈0.5 epoch) 미세조정 후, 레이턴시가 28 % 감소했으며, 다중 카메라 확장 시(12→16 카메라) FPS가 1.2배 상승했다. 그러나 동일 실험에서 AvgTrackDur가 0.8 s에서 0.5 s로 감소해 아이덴티티 전파가 불안정해지는 현상이 관찰되었다. 이는 FP8 연산이 어텐션 가중치와 쿼리 업데이트에 미세한 수치 오차를 도입해 메모리 일관성을 깨뜨릴 가능성을 보여준다. 따라서 혼합 정밀도 적용 시에는 아이덴티티 유지 지표를 별도로 모니터링하고, 필요 시 어텐션 레이어를 FP16으로 고정하는 전략이 필요하다.

전체적으로 본 논문은 실무 배포 환경에서 Sparse4D와 같은 스파이오템포럴 트랜스포머 기반 3D 추적 모델을 최적화하기 위한 구체적인 가이드라인을 제공한다. 저프레임 강인성, 선택적 양자화, 전이 학습 전략, 그리고 혼합 정밀도 미세조정 각각이 서로 보완적인 역할을 수행함을 실험적으로 입증했으며, 특히 AvgTrackDur라는 정체성 유지 지표를 도입해 기존의 검출·추적 정확도 중심 평가를 보완하였다. 이러한 결과는 대규모 정적 카메라 네트워크를 운영하는 스마트 팩토리, 물류창고, 병원 등에서 실시간 다중 인물 추적 시스템을 설계·배포할 때 실질적인 최적화 방향을 제시한다.