모달리티를 넘나드는 3D 표현 학습, 대비 증류만으로 충분할까?

초록

본 논문은 기존 이미지‑LiDAR 대비 증류 방식이 공유 특징에만 집중해 모달리티 고유 정보를 놓치는 문제를 이론적으로 분석한다. 이를 해결하기 위해 CMCR이라는 새로운 프레임워크를 제안한다. CMCR은 공유·특수 특징을 각각 학습하도록 설계된 별도 헤드, 마스크 이미지 모델링·점유율 예측이라는 모달리티‑특수 사전 과제, 그리고 2·3D를 모두 아우르는 통합 코드북을 도입한다. 또한 기하 정보를 활용한 마스크 이미지 모델링을 추가해 3D 표현력을 강화한다. 다양한 다운스트림(세그멘테이션·객체 탐지·파노라믹 세그멘테이션)에서 기존 대비 증류 방법들을 지속적으로 능가함을 실험적으로 입증한다.

상세 분석

CMCR은 기존 대비 증류가 “공유 정보 → 상호 정보 최대화”라는 가정에 머무르는 한계를 정확히 짚어낸다. 논문은 3D 포인트 클라우드와 2D 이미지 각각이 갖는 모달리티‑특수(task‑relevant) 정보가 존재한다는 가정(Assumption 1)을 수식적으로 제시하고, 이를 무시하면 학습된 임베딩이 중요한 기하·색채 차이를 포착하지 못한다는 점을 이론적으로 증명한다. 이를 보완하기 위해 두 가지 핵심 설계를 도입한다. 첫째, 공유 헤드와 특수 헤드를 분리해 동일 네트워크가 두 종류의 특징을 동시에 최적화하도록 한다. 공유 헤드는 기존 대비 손실(InfoNCE)로 학습되지만, 특수 헤드는 마스크 이미지 복원(MIM)과 점유율(occupancy) 예측이라는 두 개의 자기지도 과제를 통해 2D‑텍스처와 3D‑구조 정보를 각각 강화한다. 둘째, 멀티모달 통합 코드북을 도입해 2D와 3D의 디스크리트 표현을 동일한 코드 공간에 매핑한다. 이는 VQ‑VAE에서 영감을 얻은 설계로, 양쪽 모달리티가 서로의 코드 벡터를 공유함으로써 교차 정렬을 촉진하고, 동시에 각 모달리티가 독립적인 코드 서브스페이스에 편향되는 것을 방지한다. 또한 Geometry‑Enhanced MIM을 통해 마스크된 이미지 복원 과정에 3D 포인트 클라우드의 기하 정보를 주입한다. 구체적으로, 3D 특징을 이미지 피처에 어텐션 형태로 결합해 마스크 영역을 복원함으로써, 이미지 복원 자체가 3D 구조 학습을 촉진하도록 설계되었다. 실험에서는 CMCR이 SLidR, PPKT 등 기존 대비 증류 기반 모델보다 평균 +3 ~ +7 %의 mIoU/AP 향상을 보이며, 특히 복잡한 실외 장면에서 텍스처와 깊이 정보를 동시에 활용하는 능력이 두드러진다. 전체적으로 CMCR은 공유·특수 정보의 동시 학습, 통합 코드북을 통한 효율적 정렬, 기하‑보강 MIM이라는 세 축을 통해 기존 대비 증류의 한계를 체계적으로 극복한다는 점에서 의미가 크다.