멀티모달 포인트클라우드 완성 MGPC: 모달리티 드롭아웃·프로그레시브 디코딩 혁신

초록

MGPC는 부분 포인트클라우드와 RGB 이미지, 텍스트를 동시에 활용하는 멀티모달 프레임워크다. 모달리티 드롭아웃으로 입력 모달이 부족해도 강인하게 동작하도록 하고, 스케일러블 트랜스포머 기반 융합과 다중‑스케일 프로그레시브 생성기를 도입해 복잡한 형상을 정밀히 복원한다. 자동 데이터 파이프라인으로 1,000개 이상 카테고리, 100만 쌍을 포함한 MGPC‑1M 벤치마크를 구축했으며, 실세계 데이터에서도 기존 방법들을 크게 앞선 성능을 보인다.

상세 분석

본 논문은 현재 포인트클라우드 완성 연구가 직면한 세 가지 근본적 한계를 정확히 짚어낸다. 첫째, 단일 모달(부분 포인트클라우드)만을 입력으로 사용하면 시점에 따라 동일한 기하 구조를 가진 서로 다른 객체를 구분하기 어렵다. MGPC는 이미지와 텍스트를 보조 모달리티로 추가함으로써 시각적 질감·색상·언어적 의미를 활용, 형태 모호성을 크게 감소시킨다. 둘째, 기존 데이터셋 규모가 작아 복잡한 모델이 과적합되기 쉬우며, 설계된 로컬 연산(K‑NN, CNN 등)이나 사전 정의된 형태 사전이 확장성을 저해한다. MGPC는 대규모 자동 생성 파이프라인을 통해 1M 샘플을 확보하고, 순수 셀프‑어텐션 기반 트랜스포머를 사용해 로컬 편향을 최소화한다. 셋째, 기존 생성기(폴딩, 단일 MLP)는 2D 그리드를 3D로 변형하거나 한 번에 좌표를 회귀하는 방식으로 복잡한 표면 디테일을 표현하는 데 한계가 있다. 저자는 다중‑스케일 프로그레시브 디코더를 설계해 coarse‑to‑fine 방식으로 점들을 점진적으로 정제한다. 이때 각 스케일마다 손실을 부여해 정밀도와 전역 형태 일관성을 동시에 확보한다.

핵심 기술은 세 부분으로 나뉜다. ① 모달리티 토큰 추출: 포인트클라우드용 Point Encoder(점 집합을 토큰화), 이미지용 Vision Transformer 기반 Image Encoder, 텍스트용 사전학습된 언어 모델(Text Encoder)으로 각각 고유 임베딩을 만든다. ② 모달리티 드롭아웃: 학습 시 일정 확률(p)로 임의의 보조 모달(이미지·텍스트)을 마스크하여 모델이 어느 모달이든 결합 없이도 동작하도록 강인성을 부여한다. 이는 실제 현장에서 카메라가 고장나거나 텍스트가 없을 때도 성능 저하를 최소화한다. ③ 스케일러블 트랜스포머 융합: 추출된 토큰을 concatenation 후, Cross‑Attention 블록을 통해 서로 정보를 교환한다. 여기서 Self‑Attention은 전역 관계를, Cross‑Attention은 모달 간 정렬을 담당한다. 파라미터 효율성을 위해 토큰 수를 단계적으로 감소시키는 PCT(Pooling‑Cross‑Transformer) 레이어를 도입, 메모리 사용량을 크게 줄이면서도 대규모 데이터에 적합하도록 설계했다. 마지막으로 프로그레시브 제너레이터는 여러 Decoder Block을 쌓아 각 단계에서 2k, 4k, 8k 등 점 수를 점진적으로 늘린다. 각 단계마다 Chamfer Distance와 Earth Mover’s Distance를 포함한 다중 손실을 적용해 정밀도와 전역 형태를 동시에 최적화한다.

데이터 파이프라인도 주목할 만하다. 저자는 Objaverse와 GSO를 기반으로 3D 모델을 수집하고, 대형 비전‑언어 모델(VLM)으로 텍스트 캡션을 자동 생성한다. 이후 물리 기반 렌더링으로 RGB 이미지와 깊이 맵을 얻고, 실제 센서 특성을 모방한 노이즈와 포인트 드롭아웃을 적용해 현실감 있는 부분 포인트클라우드를 만든다. 이렇게 생성된 1M 쌍은 기존 ShapeNet‑based 데이터보다 카테고리 다양성(1,000+), 스케일(1M)에서 압도적이다.

실험 결과는 설계 의도가 잘 구현됐음을 보여준다. MGPC는 동일 조건에서 기존 단일‑모달(PointNet++, PCN 등) 및 멀티‑모달(ViPC, XMFNet 등) 대비 Chamfer Distance를 12‑15% 개선했으며, 특히 텍스트가 없는 상황에서도 드롭아웃 덕분에 성능 저하가 3% 이하에 그쳤다. 실제 로봇 팔이 촬영한 실시간 RGB‑Depth 데이터에 대한 zero‑shot 테스트에서도 기존 방법이 파편화된 점들을 생성하는 반면, MGPC는 매끄러운 전체 형태와 세부 디테일을 복원했다. 또한, ablation study를 통해 모달리티 드롭아웃이 과적합 방지에 핵심적이며, 프롤로그 디코더가 고해상도 복원에 크게 기여함을 확인했다.

종합하면, MGPC는 (1) 멀티모달 입력을 통한 일반화 향상, (2) 모달리티 드롭아웃으로 실용적 강인성 확보, (3) 프로그레시브 디코딩으로 고품질 3D 복원, (4) 대규모 현실감 데이터셋 구축이라는 네 축을 동시에 만족시키는 포인트클라우드 완성의 새로운 패러다임을 제시한다. 향후 연구는 더 많은 센서 유형(예: 라이다·초음파) 통합, 텍스트‑조건부 형태 편집, 그리고 실시간 스트리밍 환경에서의 경량화 모델 적용으로 확장될 수 있다.