노이즈 환경에서도 강인한 RGBD 객체 인식을 위한 다중모달 딥러닝

초록

본 논문은 RGB와 깊이(Depth) 두 모달리티를 각각 별도의 CNN 스트림으로 처리한 뒤, 늦은(Late) Fusion 방식을 통해 결합하는 새로운 RGB‑D 객체 인식 아키텍처를 제안한다. 깊이 데이터를 기존 ImageNet‑사전학습된 CNN에 그대로 적용하기 위해 색상화(Colorization) 기법을 도입하고, 실제 센서 노이즈를 모사한 데이터 증강을 통해 깊이 이미지의 결함에 강인한 학습을 수행한다. 3단계 학습 절차(각 스트림 별 사전학습 → 개별 미세조정 → 전체 Fusion 미세조정)를 통해 RGB‑D Object Dataset에서 최첨단 성능을 달성하고, 노이즈가 심한 실제 환경에서도 인식 정확도를 크게 향상시킨다.

상세 분석

이 논문은 로봇 비전에서 필수적인 RGB‑D 객체 인식을 위해 두 개의 독립적인 CNN 스트림을 설계하고, 이를 Late Fusion 네트워크로 연결하는 다중모달 구조를 제안한다. 핵심 기여는 (1) 깊이 영상의 색상화(Colorization) 방식이다. 기존 연구는 HHA와 같은 복잡한 3채널 변환을 사용했지만, 저자는 깊이 값을 0‑255 범위로 정규화한 뒤 Jet 컬러맵을 적용해 단일 채널 깊이 정보를 RGB 3채널에 고르게 분산시킨다. 이 방식은 계산 비용이 낮고, ImageNet‑사전학습된 CNN이 기대하는 자연 이미지 통계와 유사한 입력 분포를 제공한다는 점에서 효율적이다. (2) 데이터 증강 전략이다. 실제 RGB‑D 센서는 결측값, 잡음, 가림 현상이 빈번히 발생한다. 저자는 실제 환경에서 관찰된 결측 패턴을 샘플링해 깊이 이미지에 인위적으로 삽입함으로써, 네트워크가 노이즈에 대한 내성을 학습하도록 만든다. 이러한 증강은 특히 깊이 스트림이 독립적으로 학습될 때 과적합을 방지하고, Fusion 단계에서 두 모달리티의 상호 보완성을 강화한다. (3) 3단계 학습 파이프라인이다. 먼저 각각의 스트림을 ImageNet 가중치로 초기화하고, RGB와 깊이 데이터에 대해 개별적으로 미세조정한다. 이후 두 스트림의 최종 fully‑connected 레이어(fc7)를 연결하고, Fusion 네트워크(추가 fully‑connected + softmax)를 전체 데이터에 대해 공동 미세조정한다. 이 단계적 접근은 파라미터 수가 큰 대규모 CNN을 제한된 RGB‑D 데이터셋에 효과적으로 적용할 수 있게 한다. 실험에서는 Washington RGB‑D Object Dataset에서 기존 방법들을 크게 앞서는 정확도를 기록했으며, 노이즈가 심한 RGB‑D Scenes Dataset에서도 색상화와 노이즈 증강이 각각 약 5‑7%의 성능 향상을 가져옴을 확인했다. 전체적으로 이 논문은 깊이 데이터의 특성을 고려한 전처리와 현실적인 노이즈 모델링을 통해, 로봇 시스템에서 요구되는 강인한 객체 인식 파이프라인을 구현한 점이 가장 큰 의의이다.