소리와 시각을 결합한 객체·재질 동시 분할

초록

본 논문은 시각 정보만으로는 구분이 어려운 물체와 재질을, 사람 손가락으로 탭하여 얻은 희소한 음향 신호와 결합해 밀집 라벨링을 수행한다. 객체와 재질 라벨이 서로 보완적이라는 점을 이용해 두 레이어를 갖는 완전 연결 CRF를 설계하고, 시각·음향 유니어리를 가중합한 후 공동 포텐셜로 상호 영향을 주도록 최적화한다. 새로 만든 RGB‑D·음향 데이터셋에서 실험한 결과, 단일 모달리티 대비 객체·재질 모두에서 유의미한 정확도 향상을 확인하였다.

상세 분석

이 연구는 기존의 시각 기반 의미 분할이 색·텍스처가 유사한 물체들을 구분하지 못한다는 한계를 정확히 짚고, 인간이 물체를 두드릴 때 발생하는 음향이 재질을 강하게 암시한다는 심리학적 근거(맥그럭 효과)를 활용한다. 핵심 기법은 두 개의 라벨 공간(객체 O, 재질 M)을 각각 완전 연결(pairwise) CRF로 모델링하고, 동일 픽셀에 대한 O와 M 사이에 공동 포텐셜 E_J를 삽입함으로써 상호 의존성을 학습한다.

시각 유니어리 ψ_O^u와 ψ_M^u는 각각 사전 학습된 CNN 기반 클래스 확률을 로그‑우도 형태로 변환한다. 재질 유니어리는 시각 확률 p(m|I)와 음향 확률 p(m|A)를 가중 평균(w_av)으로 결합하고, 음향 정보가 없는 픽셀에 대해서는 균일 분포 U를 삽입해 시각 예측의 과신을 완화한다. 이는 음향이 희소하게 존재하더라도, CRF의 장거리 Gaussian 커널(pairwise ψ_O^p, ψ_M^p) 덕분에 주변 픽셀에 전파되어 전역적인 라벨 일관성을 확보한다.

학습 단계에서는 9개의 실내 시퀀스를 3D 재구성 후 3D 라벨링을 수행하고, 레이캐스팅을 통해 2D 라벨을 자동 생성함으로써 라벨링 비용을 크게 절감한다. 음향 데이터는 고품질 콘덴서 마이크로 600여 개의 탭 사운드를 수집했으며, 각 사운드는 3D 재구성 상의 충격 지점과 매핑되어 평균 0.18 % 픽셀에만 직접 라벨을 제공한다.

실험에서는 (1) 시각 전용 CRF, (2) 시각+음향 단일 라벨 CRF, (3) 제안된 객체·재질 공동 CRF 세 가지 설정을 비교하였다. 결과는 공동 모델이 물체와 재질 모두에서 평균 7~12 % 이상의 IoU 향상을 보였으며, 특히 재질이 시각적으로 구분되지 않는 경우(플라스틱 vs. 목재)에서 큰 개선을 기록한다. 또한, 공동 포텐셜이 없는 경우보다 라벨 간 상호 보정 효과가 뚜렷해, 물체 라벨링 정확도도 시각 단독 대비 상승한다.

이 논문은 (i) 희소 음향 정보를 CRF에 효과적으로 통합하는 방법, (ii) 객체와 재질 라벨의 상호 의존성을 정량적으로 모델링하는 두 레이어 구조, (iii) 3D 기반 라벨링 파이프라인을 통한 대규모 멀티모달 데이터셋 구축이라는 세 가지 주요 기여를 제공한다. 향후 연구에서는 실시간 로봇 시스템에 적용하기 위한 경량화 모델, 그리고 더 다양한 접촉 방식(예: 마찰음)으로 확장하는 방안을 제시할 수 있다.