다양한 실내·실외 환경에서 3D 사람 탐지를 위한 센서 모달리티 비교와 견고성 연구

초록

본 논문은 JRDB 데이터셋을 활용해 카메라 전용(BEVDepth), LiDAR 전용(PointPillars), 그리고 카메라‑LiDAR 융합(DAL) 세 모델의 3D 사람 탐지 성능을 비교한다. 거리·폐색 수준별 정확도와 인위적 센서 손상(노이즈, 정렬 오류 등)에 대한 견고성을 평가한 결과, 융합 모델이 전반적으로 우수하지만 정렬 오류와 특정 LiDAR 손상에 취약함을 확인했다.

상세 분석

본 연구는 3D 사람 탐지 분야에서 아직 충분히 다루어지지 않은 실내·실외 복합 환경을 목표로 한다는 점에서 의의가 크다. JRDB 데이터셋은 모바일 로봇이 캠퍼스 전역을 주행하며 수집한 360° 카메라와 LiDAR 데이터를 포함하고, 다양한 조명·구조·인구 밀도를 제공한다. 이러한 데이터는 기존 자동차 전용 벤치마크와 달리 복잡한 폐색과 거리 변동이 빈번한 상황을 재현한다.

세 모델 선택 역시 대표성을 갖는다. BEVDepth는 이미지 기반 접근법으로, LiDAR‑supervised depth 학습을 통해 단일 카메라 입력만으로 BEV( Bird‑Eye View) 표현을 만든다. 이는 카메라만 사용할 경우의 비용 절감과 풍부한 의미 정보를 활용한다는 장점을 보여준다. PointPillars는 포인트 클라우드를 수직 ‘pillars’로 voxel화하고 2D 컨볼루션으로 특징을 추출하는 효율적인 LiDAR 전용 모델이며, 실시간 처리에 강점을 가진다. DAL은 이미지와 LiDAR 특징을 동일한 BEV 공간에 투사해 결합하는 최신 융합 방식으로, 레이블링 오버피팅을 방지하기 위해 이미지 특징을 별도 회귀 단계와 분리한다.

실험 설정은 각 모델을 JRDB 훈련/검증/테스트 분할에 맞추어 재학습했으며, 동일한 하이퍼파라미터(배치 16, GPU L40 2대)와 학습 스케줄을 적용해 공정성을 확보했다. 평가 지표는 JRDB 공식 AP(average precision) 0.3과 0.5 IoU 두 가지를 사용했으며, 25 m 이내 10점 이상 포인트를 포함하는 박스만을 대상으로 한다.

거리·폐색 분석에서는 거리 0‑5 m, 5‑10 m, 10‑15 m, 15‑25 m 구간과 ‘완전 가시’, ‘대부분 가시’, ‘심하게 폐색’, ‘완전 폐색’ 네 단계로 나누어 성능 변화를 측정했다. 결과는 DAL이 전반적으로 가장 높은 AP를 기록했으며, 특히 10‑15 m 구간과 ‘심하게 폐색’ 상황에서 다른 두 모델보다 8~12%p 정도 우수했다. 반면 BEVDepth는 폐색이 심해질수록 급격히 성능이 떨어졌고, 거리 증가에 따른 깊이 추정 오차가 크게 작용했다. PointPillars는 거리 증가에 비교적 강인했지만, 폐색이 심한 경우 LiDAR 포인트 자체가 감소하면서 검출률이 낮아졌다.

견고성 테스트에서는 (Dong et al., 2023)에서 정의한 12가지 센서 손상을 3단계 심각도로 시뮬레이션했다. 카메라 노이즈, LiDAR 가우시안 노이즈, 컷아웃, 크로스토크, 포인트 밀도 감소, 시야 손실, 공간·시간 정렬 오류, 안개·햇빛 등이다. 실험 결과 DAL은 대부분의 노이즈에 대해 완만한 성능 저하를 보였으나, 특히 LiDAR 정렬 오류(회전·이동 변동)와 크로스토크(점 선택적 노이즈)에서는 AP가 15~20%p 급감했다. BEVDepth는 카메라 노이즈와 안개에 매우 민감했으며, AP가 30%p 이상 감소했다. PointPillars는 포인트 밀도 감소와 시야 손실에 가장 큰 영향을 받았으며, 특히 30% 포인트 손실 시 검출률이 절반 이하로 떨어졌다.

전체적으로, 융합 모델이 단일 모달리티 대비 정확도와 견고성 모두에서 우수함을 확인했지만, 정밀한 캘리브레이션과 동기화가 필수적이라는 한계도 드러났다. 또한, 실내·실외 복합 환경에서 카메라와 LiDAR 각각의 약점을 보완하는 전략이 필요함을 시사한다.