DiffFusion 악천후에서도 강인한 다중모달 3D 객체 탐지를 위한 확산 기반 복원 프레임워크
읽는 시간: 2 분
...
📝 원문 정보
- Title: Diffusion-Based Restoration for Multi-Modal 3D Object Detection in Adverse Weather
- ArXiv ID: 2512.13107
- 발행일: 2025-12-15
- 저자: Zhijian He, Feifei Liu, Yuwei Li, Zhanpeng Luo, Jintao Cheng, Xieyuanli Chen, Xiaoyu Tang
📝 초록 (Abstract)
다중모달 3D 객체 탐지는 로봇 및 자율주행에서 신뢰할 수 있는 인식을 위해 필수적이지만, 악천후에 의한 왜곡과 모달 간 정렬 오류 때문에 그 효과가 제한된다. 본 연구에서는 확산 모델의 강력한 디노이징·생성 능력을 활용하여 악천후 환경에 대한 복원력을 높이는 새로운 프레임워크 DiffFusion을 제안한다. DiffFusion은 (1) 이미지에 가해진 날씨 효과를 복원하는 Diffusion‑IR, (2) 이미지 객체 단서를 이용해 손상된 LiDAR 포인트 클라우드를 보정하는 Point Cloud Restoration (PCR) 두 가지 복원 모듈을 도입한다. 또한, 모달 간 정렬 문제를 해결하기 위해 양방향 적응 융합 및 정렬 모듈(BAFAM)을 설계하여 동적 다중모달 융합과 BEV( Bird‑Eye‑View) 정렬을 동시에 수행한다. 세 개의 공개 데이터셋에 대한 광범위한 실험 결과, DiffFusion은 악천후 상황에서 최첨단 수준의 견고함을 달성하면서도 깨끗한 데이터에서는 높은 성능을 유지한다. 실제 DENSE 데이터셋에 대한 제로샷 평가에서도 일반화 능력이 검증되었다. 구현 코드는 오픈소스로 공개될 예정이다.💡 논문 핵심 해설 (Deep Analysis)
DiffFusion 논문은 현재 자율주행 및 로봇 비전 분야에서 가장 시급한 문제 중 하나인 ‘악천후에서의 다중모달 센서 융합’에 대한 근본적인 해결책을 제시한다. 기존 연구들은 주로 개별 모달리티(예: 이미지 혹은 라이다)의 강인성을 강화하거나, 단순히 두 모달리티를 정적인 방식으로 결합하는 데 그쳤다. 그러나 비, 안개, 눈과 같은 기상 현상은 이미지와 라이다 모두에 복합적인 왜곡을 일으키며, 특히 라이다는 반사 강도 감소와 스포트 노이즈가 급증해 포인트 클라우드가 심하게 손상된다. 이러한 상황에서 두 모달리티 간의 정확한 공간 정렬이 깨지면, 후속의 3D 박스 회귀나 클래스 예측 단계에서 오류가 급격히 누적된다.DiffFusion은 이러한 문제를 세 단계로 접근한다. 첫 번째는 ‘Diffusion‑IR’ 모듈로, 최신 텍스트‑투‑이미지 확산 모델의 역전파(denoising) 과정을 이미지 복원에 적용한다. 기존의 이미지 디노이징 CNN과 달리 확산 모델은 확률적 샘플링 과정을 통해 다양한 날씨 조건을 학습하고, 조건부 생성 능력으로 원본 이미지의 고주파 디테일을 복원한다. 두 번째는 ‘Point Cloud Restoration (PCR…