MambaFusion 효율적 적응형 상태공간 융합을 통한 멀티모달 3D 객체 탐지

초록

MambaFusion은 카메라와 LiDAR 데이터를 BEV 공간에서 결합하는 새로운 프레임워크이다. 선택적 상태공간 모델(SSM)과 윈도우 트랜스포머를 교차 배치해 전역 컨텍스트를 선형 시간에 전달하고, 다중모달 토큰 정렬(MTA)과 신뢰도 기반 융합 게이트를 통해 공간적 불확실성을 동적으로 보정한다. 구조 조건화 확산 헤드와 시간 자기 증류 모듈을 추가해 물리적 일관성과 시간적 안정성을 확보하며, nuScenes 벤치마크에서 최첨단 성능을 달성한다.

상세 분석

본 논문은 자율주행에서 카메라와 LiDAR의 상보적 특성을 효율적으로 융합하기 위해 세 가지 핵심 문제—컨텍스트 모델링 비용, 공간적 가변 융합, 물리적 합리성—를 동시에 해결한다. 첫 번째로, 저자들은 기존 BEV 기반 융합이 전역 정보를 얻기 위해 2차 복잡도의 트랜스포머를 사용하던 점을 지적하고, 이를 Mamba‑style 선택적 상태공간 모델(SSM)과 윈도우 트랜스포머의 하이브리드 구조로 대체한다. SSM은 Hilbert 곡선을 따라 직렬화된 voxel 시퀀스에 적용되어, 인접성은 유지하면서 선형 시간에 장거리 의존성을 학습한다. 윈도우 트랜스포머는 각 지역의 미세 기하학을 보존해, 전역‑국부 균형을 달성한다. 두 번째로, 다중모달 토큰 정렬(MTA) 모듈은 교차‑어텐션 네트워크를 이용해 카메라와 LiDAR BEV 토큰 사이의 미세한 외부 파라미터 오프셋을 학습한다. 이는 실제 차량에서 발생하는 0.5~2° 정도의 캘리브레이션 드리프트를 실시간 보정한다. 이어지는 신뢰도 기반 융합 게이트는 점 밀도, 깊이 분산, 가시성, 다뷰 일관성, 차량 거리 등 5가지 신호를 MLP에 입력해 셀별 가중치를 예측한다. 여기서 역분산(variance) 융합을 적용해 불확실성이 큰 영역은 자동으로 낮은 기여도를 갖게 하며, 초기 몇 epoch에서는 그라디언트를 차단해 학습 안정성을 높인다. 세 번째로, 구조‑조건화 확산 헤드(GCD)는 제안 박스들을 그래프 기반 메시지 패싱으로 연결한 뒤, 물리적 plausibility(예: 중첩 방지, 지면 위에 떠 있지 않음)를 강화한다. 확산 과정은 각 박스의 신뢰도 uᵢ에 따라 노이즈 스케일을 조절하는 조건부 denoiser를 사용해, 최종 confidence를 공간적·센서적 컨텍스트에 맞게 정제한다. 마지막으로, 시간 자기 증류(TSD) 모듈은 Mamba 블록을 통해 얻은 BEV 임베딩을 다음 프레임으로 예측하고, stop‑gradient된 실제 임베딩과 L1 손실을 최소화함으로써 프레임 간 예측 변동을 크게 감소시킨다. 전체 파이프라인은 하나의 엔드‑투‑엔드 손실 함수에 검출, 회귀, IoU, 불확실성 정규화, 구조 제약, 확산, 시간 일관성 손실을 가중합해 학습한다. 실험 결과, nuScenes val/test에서 mAP와 NDS 모두 기존 최고 기록을 넘어섰으며, 특히 캘리브레이션 노이즈와 점 밀도 감소 상황에서도 강인한 성능을 보였다. 복합적인 모듈 설계가 서로 보완적으로 작용해, 효율성(선형 복잡도)과 신뢰성(불확실성 기반 가중치, 물리적 제약) 사이의 트레이드오프를 성공적으로 해소한 점이 가장 큰 기여라 할 수 있다.