다중 카메라 학습으로 단일 카메라 BEV 인식 향상

초록

본 논문은 6대 카메라로 학습한 최신 BEVFormer 모델을 활용해, 단일 전방 카메라만으로 추론할 때 발생하는 성능 저하를 최소화하는 방법을 제안한다. 역블록 마스킹, 사이클형 학습률 스케줄, 그리고 BEV 특징 재구성 손실을 결합해 훈련하면, 단일 카메라 기반 모델이 다중 카메라 기반 베이스라인 대비 mIoU 19%·mAP 414% 향상을 달성한다.

상세 분석

이 연구는 비용 제한이 있는 양산 차량에서 전방 카메라 하나만으로도 고품질 BEV( Bird’s‑Eye‑View ) 지도를 생성하고자 하는 실용적 문제에 초점을 맞춘다. 기존 BEVFormer와 같은 다중 카메라 기반 모델은 360° 시야를 제공해 객체 그림자·폐색 처리에 강점이 있지만, 생산 라인에서는 카메라 수를 최소화해야 한다는 제약이 있다. 논문은 이러한 딜레마를 해결하기 위해 ‘학습‑추론 불일치’를 의도적으로 만들고, 그 격차를 메우는 세 가지 기술적 요소를 도입한다.

첫 번째는 역블록 마스킹(inverse block masking)이다. 6대 카메라 중 전방을 제외한 5대 카메라에 대해 점진적으로 마스크 비율을 20%씩 증가시켜, 훈련 초반에는 일부 영역만 가려지고 후반부에는 전방 카메라만 남도록 설계한다. 마스크는 연속적인 사각형 블록 형태로, 남은 시야에서 충분한 컨텍스트를 제공해 모델이 가려진 영역을 추론하도록 유도한다. 또한, 마스크가 완전히 적용된 뷰에 대해 GT 바운딩 박스를 무시하는 필터링을 도입해, 모델이 눈에 보이지 않는 객체에 대해 잘못된 학습을 하는 것을 방지한다.

두 번째는 사이클형 학습률(Cyclic LR) 스케줄이다. 마스크 비율이 변함에 따라 입력 데이터 분포가 급격히 달라지므로, 기존의 코사인 감쇠 방식은 적합하지 않다. 논문은 각 마스크 단계마다 학습률을 크게 시작해 새로운 데이터 분포에 빠르게 적응하도록 하고, 사이클이 진행될수록 점진적으로 감소시켜 미세 조정을 가능하게 한다. 이는 특히 100% 마스크 단계에서 작은 학습률을 유지함으로써 모델이 전방 카메라만을 이용한 최종 상황에 과도하게 오버피팅되는 것을 억제한다.

세 번째는 BEV 특징 재구성 손실이다. 동일한 샘플을 마스크 적용 전·후 두 번 네트워크에 통과시켜, 마스크가 없는 경우 얻은 BEV 특징과 마스크가 적용된 경우 얻은 특징 사이의 L2 차이를 최소화한다. 이 손실은 마스크된 입력에서도 원본과 유사한 BEV 표현을 유지하도록 강제함으로써, 추론 시 전방 카메라만 사용하더라도 다중 카메라에서 학습된 풍부한 공간 정보를 보존한다.

실험은 nuScenes 데이터셋을 사용했으며, ResNet‑50 백본과 중형 BEVFormer(3개의 트랜스포머 레이어) 구성을 채택했다. 30 epoch, A100 GPU 1대에서 훈련했으며, 베이스라인으로는 (1) 전방 카메라 단일 학습 모델, (2) 6카메라 전체 학습 모델을 각각 사용했다. 결과는 NDS와 mAP에서 기존 단일 카메라 베이스라인 대비 각각 20%·25% 향상, mIoU는 19% 상승했다. 특히 GT 바운딩 박스 필터링만 적용해도 false‑positive가 크게 감소했으며, 전체 세 가지 기법을 결합했을 때 가장 큰 성능 개선을 보였다. 시각적 예시(Fig. 4)에서도 다중 카메라 학습 모델이 전방 카메라만으로도 복잡한 교차로와 차량 그림자를 정확히 복원하는 모습을 확인할 수 있다.

이러한 접근은 ‘학습‑추론 불일치’를 의도적으로 만들고, 손실 함수와 학습 스케줄을 통해 그 격차를 메우는 새로운 패러다임을 제시한다. 비용 제한이 있는 양산 차량에 바로 적용 가능하며, 향후 라이다·레이다와 같은 추가 센서를 학습 단계에만 활용하는 멀티모달 확장에도 자연스럽게 적용될 수 있다.