스파스 프로토타입 기반 트랜스포머로 카메라 3D 점유 예측 가속

초록

본 논문은 카메라 영상만을 이용해 3차원 점유 맵을 실시간으로 예측하는 새로운 디코더 구조인 SPOT‑Occ를 제안한다. 희소한 voxel 특징에 대해 전체 어텐션을 수행하는 대신, 각 쿼리가 가장 중요한 voxel을 프로토타입으로 선택하고, 선택된 프로토타입에 집중해 정보를 집계한다. 또한, GT 마스크를 활용한 디노이징 학습을 도입해 쿼리‑프로토타입 매핑의 안정성을 확보한다. 실험 결과, nuScenes‑Occupancy에서 기존 최첨단 모델 대비 57 % 이상의 속도 향상과 동시에 mIoU에서도 우수한 성능을 기록한다.

상세 분석

SPOT‑Occ는 기존의 밀집 어텐션이 3D 점유 예측에서 발생시키는 O(Nq·Nv) 복잡도를 O(Nq·k) 로 낮추는 핵심 메커니즘을 제시한다. 여기서 Nq는 쿼리 수, Nv는 전체 voxel 수, k는 각 쿼리가 선택하는 프로토타입 개수(Top‑ρ %). 논문은 먼저 각 쿼리‑키 쌍에 대해 코사인 유사도 기반 saliency score S(q,k)를 계산하고, 이를 기반으로 가장 높은 점수를 가진 k개의 voxel을 동적으로 선택한다. 이 과정은 다중 헤드별로 병렬 수행되며, 각 헤드가 서로 다른 특징 공간에서 프로토타입을 학습하도록 유도한다. 선택된 프로토타입에 대해서는 온도 스케일링된 softmax를 적용해 어텐션 가중치 α를 구하고, 이를 이용해 값(value)들을 가중합해 v_agg를 만든다. 이후, q와 v_agg의 원소곱을 FFN에 통과시켜 인터랙션 벡터 i를 얻고, i와 v_agg를 결합해 또 다른 FFN을 거쳐 출력 게이트 o를 만든 뒤, residual 연결과 dropout을 통해 최종 refined query를 얻는다. 이 설계는 단순 dot‑product 어텐션보다 풍부한 비선형 변환을 제공해 학습 안정성을 크게 향상시킨다.

동적 프로토타입 선택은 훈련 초기에 불안정성을 야기할 수 있다. 같은 쿼리가 서로 다른 디코더 레이어에서 전혀 다른 마스크를 예측하는 현상이 관찰되었으며, 이를 정량화하기 위해 Layer‑wise Mean IoU(LM‑IoU)를 도입했다. 논문은 이를 해결하기 위해 디노이징(denoising) 학습을 도입한다. 구체적으로, 각 GT 객체에 대해 클래스 임베딩을 기반으로 쿼리를 생성하고, 클래스 라벨을 무작위로 뒤바꾸는 semantic noise와 Gaussian 노이즈를 더한 feature noise를 적용한다. 이렇게 만든 노이즈 쿼리는 GT 마스크에 의해 직접 프로토타입 선택이 가이드되며, 디코더 출력은 별도의 디노이징 헤드에서 GT 클래스와 마스크를 복원하도록 학습된다. 반면, 기존 매칭 쿼리는 Hungarian 매칭을 통해 GT와 연결된다. 디노이징 파이프라인은 훈련 시에만 활성화되므로 추론 비용에 영향을 주지 않는다.

전체 파이프라인은 이미지 백본(FPN) → LSS(Lift‑Splat‑Shoot) → Sparse ConvNet → SPOT‑CA(Prototype‑guided Transformer) → 두 개의 헤드(클래스·마스크, 디노이징) 로 구성된다. 마스크는 각 쿼리의 클래스 스케일드 히트맵을 voxel 특징과 내적해 얻으며, 최종 voxel‑level 예측은 모든 쿼리의 마스크를 argmax로 결합한다. 손실은 매칭 손실(L_match), 디노이징 손실(L_dn), 깊이 손실(L_depth)의 가중합으로 정의된다.

실험에서는 nuScenes‑Occupancy와 SemanticKITTI를 사용했으며, SPOT‑Occ는 GaussianFormer‑2 대비 57.6 % 빠른 추론 시간(≈13 ms)과 동시에 mIoU 13.44 % → 13.72 % 정도의 소폭 개선을 보였다. 특히, 프로토타입 비율 ρ를 0.1% 수준으로 낮춰도 성능 저하가 거의 없으며, 디노이징을 적용했을 때 LM‑IoU가 초기 레이어에서 48.8 % → 81.7 % 로 크게 상승하는 등 학습 안정성이 크게 향상된 것이 확인되었다.

요약하면, SPOT‑Occ는 희소 3D 특징을 효율적으로 활용하기 위해 쿼리‑프로토타입 기반 어텐션을 도입하고, GT‑마스크 기반 디노이징 학습으로 동적 선택의 불안정을 보완함으로써, 실시간 자율주행에 필수적인 고정밀 3D 점유 예측을 가능하게 만든 혁신적인 접근이다.