카메라와 IMU 융합을 통한 견고한 도로 표면 분류와 새로운 데이터셋

초록

본 논문은 카메라와 관성 측정 장치(IMU)를 결합한 경량형 양방향 교차‑주의 모듈과 적응형 게이팅 레이어를 제안한다. 또한 다양한 조명·날씨·표면 조건을 포함한 멀티모달 ROAD 데이터셋을 구축하여 기존 벤치마크의 한계를 극복하고, 제안 모델이 PVS 벤치마크에서 1.4%p, ROAD 멀티모달 서브셋에서 11.6%p 향상된 성능을 달성함을 입증한다.

상세 분석

이 연구는 도로 표면 분류(RSC) 분야에서 두 가지 핵심 문제를 동시에 해결한다. 첫째, 기존 데이터셋이 낮은 환경 다양성(주로 주간, 맑은 날씨)으로 제한되어 실제 운행 상황에 대한 일반화가 어려웠던 점을 보완하기 위해 ROAD라는 새로운 데이터셋을 설계하였다. ROAD는 (i) 실시간 동기화된 RGB‑IMU 스트림을 포함한 실제 주행 기록, (ii) 조명·날씨·센서 배치 변동을 강조한 대규모 비전 전용 서브셋, (iii) 희귀 상황(밤‑비, 먼지 등)을 재현한 합성 데이터셋으로 구성된다. 각 서브셋은 라벨링 정확도와 시계열 연속성을 보장하기 위해 산업용 데이터 로거와 GPS 보정 장치를 사용했으며, 이는 기존 PVS·RTK 데이터와 비교해 라벨링 오류와 시간 지연을 현저히 감소시킨다.

둘째, 멀티모달 융합 모델 설계에 있어 기존 단순 연결(concatenation)이나 일방향 어텐션에 머물지 않고, 양방향 교차‑주의(bidirectional cross‑attention)와 모달리티‑특화 토크나이제이션을 도입하였다. 구체적으로, EfficientNet‑B0 기반 비전 인코더와 CNN‑BLSTM 기반 IMU 인코더가 각각 토큰 시퀀스를 생성하고, 각 토큰이 상대 모달리티의 키‑값을 조회하도록 설계된 교차‑주의 블록을 통해 시각·진동 정보를 상호 보완한다. 이후 적응형 게이팅 레이어는 샘플별 모달리티 가중치를 학습해 도메인 이동(예: 야간→낮, 건조→습윤) 상황에서 어느 센서가 더 신뢰할 수 있는지를 자동으로 판단한다. 이 구조는 파라미터 효율성을 유지하면서도 시계열 길이에 따라 가변적인 컨텍스트를 포착한다는 장점이 있다.

실험 결과는 세 가지 관점에서 의미 있다. (1) 정량적 성능: 제안 모델은 PVS 벤치마크에서 기존 최첨단 대비 1.4%p, ROAD 멀티모달 서브셋에서는 11.6%p 상승했으며, 특히 소수 클래스(자갈·돌길)에서 F1 점수가 크게 개선되었다. (2) 견고성: 야간, 폭우, 혼합 표면 전이 등 어려운 조건에서도 성능 저하가 3% 이하에 그쳤으며, IMU만 사용했을 때보다 시각 정보가 손상된 상황에서 안정적인 예측을 제공한다. (3) 해석 가능성: 교차‑주의 가중치 시각화를 통해 비전이 흐릿할 때 IMU가 주도적으로 기여하고, 반대로 진동이 약한 평탄 구간에서는 비전이 주도함을 확인했다. 다만, 센서 캘리브레이션 오류가 심한 경우 적응형 게이팅이 과도하게 한 모달리티에 의존하는 경향이 발견돼 향후 캘리브레이션 자동화가 필요하다.

전체적으로 이 논문은 (1) 환경 다양성을 포괄하는 새로운 멀티모달 데이터셋 제공, (2) 양방향 교차‑주의와 적응형 게이팅을 결합한 효율적인 융합 아키텍처 제시, (3) 실세계 조건에서의 견고성 및 소수 클래스 향상을 입증함으로써, 비용 효율적인 카메라·IMU 조합이 고성능 도로 표면 인식에 충분히 활용될 수 있음을 증명한다.