LiDAR와 이미지 가이드를 활용한 고급 쿼리 초기화로 차폐 강인 3D 객체 탐지

초록

ALIGN은 LiDAR 포인트 클라우드와 카메라 이미지의 기하·시맨틱 정보를 정밀히 정렬해 객체 중심 쿼리를 생성하고, 주변 이웃 샘플링과 동적 배경 균형을 통해 기존의 무작위·히트맵 기반 초기화의 한계를 극복한다. nuScenes 벤치마크에서 다양한 최신 탐지기와 결합했을 때 mAP와 NDS를 각각 최대 0.9 %와 1.2 % 향상시켰다.

상세 분석

ALIGN은 기존 쿼리 기반 3D 객체 탐지기에서 가장 중요한 “쿼리 초기화” 단계에 초점을 맞춘 혁신적인 프레임워크이다. 먼저 Occlusion‑aware Center Estimation(OCE) 모듈은 LiDAR 포인트를 다중 뷰 이미지의 세그멘테이션 마스크에 투사하여 각 포인트가 어느 객체에 속하는지 식별한다. 이후 2D 바운딩 박스 중심을 기준으로 최소 거리 상위 4개의 포인트를 선택하고, 이미지‑LiDAR 간 동차 변환 행렬(H)을 추정해 3D 표면 좌표를 복원한다. 표면 좌표는 객체의 실제 중심과 깊이 편차가 존재하므로, 클래스별 사전 정의된 깊이 보정값(d)을 레이 방향으로 적용해 최종 중심(P_OCE)을 얻는다. 이 과정은 occlusion 상황에서도 가시적인 부분만을 이용해 중심을 추정함으로써 기존 히트맵 기반 방법이 놓치기 쉬운 작은·멀리 있는 객체를 포착한다.

다음 Adaptive Neighbor Sampling(ANS) 단계에서는 OCE가 놓칠 수 있는 영역을 보완한다. DBSCAN 클러스터링을 통해 LiDAR 포인트를 객체 후보군으로 묶고, 각 클러스터 코어(p_cluster)를 기준으로 반경 r 이내의 N개의 이웃 포인트를 무작위로 샘플링한다. 여기서 중요한 점은 샘플링된 포인트가 이미지 세그멘테이션 마스크와 일정 오프셋(S_offset) 이내에 있어야만 최종 이웃 집합(P_ANS)에 포함된다는 점이다. 즉, 기하학적 클러스터링과 시맨틱 필터링을 결합해 배경이나 지면 등 무관한 포인트를 효과적으로 배제한다. 필요 시 재샘플링을 최대 3번 수행해 충분한 커버리지를 확보한다.

마지막 Dynamic Query Balancing(DQB) 모듈은 전체 쿼리 예산(N_total)을 객체 중심 쿼리(N_OCE), 클러스터 코어(N_cluster), 그리고 남은 쿼리(N_remain)로 나눈 뒤, 남은 쿼리를 ∇_bal 비율에 따라 객체 주변 이웃(N_ANS)과 배경 랜덤(N_rand)으로 재분배한다. ∇_bal은 0~1 사이의 하이퍼파라미터로, 장면 복잡도(객체 밀도)에 따라 동적으로 조정 가능하다. 이를 통해 과도한 객체 쿼리 집중으로 인한 과적합을 방지하고, 동시에 배경 쿼리를 완전히 배제하지 않아 전역 커버리지를 유지한다.

학습 손실은 기존 DETR 계열과 동일하게 Hungarian 매칭 기반의 클래스 Focal loss와 L1 박스 회귀 손실을 가중합한다(λ1=2.0, λ2=0.25). 실험에서는 nuScenes 데이터셋을 사용해 UVTR, TransFusion, CMT‑small, FUTR3D, EfficientQ3M, SparseFusion 등 6개의 최신 탐지기에 ALIGN을 적용했으며, 모든 경우에서 mAP와 NDS가 일관되게 상승했다. 특히 occlusion 비율이 높은 시나리오와 밀집 교차로에서 +0.9 % mAP, +1.2 % NDS 향상이 두드러졌다.

핵심 기여는 (1) LiDAR‑이미지 정렬을 통한 정확한 객체 중심 추정, (2) 시맨틱 가이드 이웃 샘플링으로 공간적 커버리지 강화, (3) 동적 배경 균형으로 전체 쿼리 효율 최적화라는 세 가지 모듈을 제시함으로써, 기존 무작위·히트맵 기반 초기화가 갖는 근본적인 한계를 구조적으로 해결했다는 점이다. 또한 모듈 간 의존성이 낮아 다양한 쿼리 기반 탐지기에 플러그‑인 형태로 적용 가능하다는 실용적 장점도 강조한다.