통합 3D 장면 이해를 위한 UNITE: 다중 뷰 트랜스포머 기반 통합 시멘틱 모델

초록

UNITE는 RGB 이미지 다중 뷰만을 입력으로 받아 3D 기하 구조와 3D 시멘틱, 인스턴스, 오픈‑보캘러리, 어포던스·관절 예측을 동시에 수행하는 피드‑포워드 트랜스포머이다. 2D 기반 파운데이션 모델(CLIP, SAM)으로부터 얻은 특징을 2D‑3D 디스틸레이션과 새로운 다중‑뷰 일관성 손실을 통해 학습하며, 별도 후처리 없이 몇 초 만에 전체 3D 시멘틱 지오메트리를 출력한다. 다양한 벤치마크에서 기존 전용 모델들을 능가한다.

상세 분석

UNITE는 기존 3D 장면 이해 파이프라인이 갖는 ‘분리된 단계’와 ‘태스크‑스페시픽’ 한계점을 근본적으로 해소한다는 점에서 혁신적이다. 첫 번째 핵심은 VGGT와 같은 사전학습된 피드‑포워드 트랜스포머를 기하학적 백본으로 활용하고, 이를 다중 뷰 토큰을 전역 및 프레임‑와이즈 어텐션으로 융합함으로써 카메라 포즈, 깊이, 포인트 맵을 동시에 예측한다. 이 과정에서 별도의 SfM이나 MVS 모듈이 필요 없으며, 입력 이미지 수에 제한이 거의 없다는 점이 실시간 응용에 유리하다.

두 번째 핵심은 시멘틱, 인스턴스, 어포던스·관절 등 다양한 의미 정보를 동일한 백본 위에 DPT( Dense Prediction Transformer) 헤드를 겹쳐 학습한다는 점이다. 여기서 2D 파운데이션 모델(CLIP, SAM)으로부터 추출한 dense feature와 mask를 디스틸레이션 목표로 삼아, 2D‑3D 정합성을 확보한다. 특히, 2D 모델이 뷰마다 다른 특징을 출력하는 문제를 해결하기 위해 ‘다중‑뷰 일관성 손실’을 도입했다. 이 손실은 동일 3D 포인트에 대한 여러 뷰의 특징을 confidence‑weighted 평균으로 집계하고, 각 뷰 특징이 이 평균과 코사인 유사도로 정렬되도록 강제한다. stop‑gradient를 사용해 평균 자체는 업데이트되지 않게 함으로써, 모델이 어느 뷰가 더 신뢰할 수 있는지를 스스로 학습한다.

인스턴스 헤드는 마스크‑기반 디스틸레이션 대신 contrastive embedding 방식을 채택한다. SAM으로부터 얻은 클래스‑agnostic 마스크를 3D로 투영하고 DBSCAN으로 클러스터링해 3D‑일관성 마스크를 만든 뒤, 이를 다시 모든 뷰에 투사한다. 이렇게 얻은 픽셀‑레벨 레이블을 이용해 같은 인스턴스는 가까이, 다른 인스턴스는 일정 마진 이상 떨어지도록 L2 거리 기반 contrastive loss를 적용한다. 이 접근법은 마스크 매칭 비용을 없애고, 다중 뷰 간 인스턴스 정합성을 자연스럽게 확보한다.

어포던스·관절 헤드는 3D 레이블(translation, rotation)을 선형화해 회전 축을 90° 회전시킨 변위 벡터로 변환하고, 이를 회귀 학습한다. 이렇게 하면 복잡한 관절 파라미터를 별도 파라미터화하지 않아도 되며, 기존 3D 물체 파라미터화 방식보다 간단하면서도 충분히 표현력을 유지한다.

학습은 2D 디스틸레이션 손실(시멘틱, 인스턴스)과 다중‑뷰 일관성 손실을 가중합한 복합 목표로 최적화된다. 전체 파이프라인은 완전 end‑to‑end이며, 별도 3D 재구성 단계가 없으므로 메모리와 연산 효율이 크게 개선된다. 실험 결과, ScanNet, 3RScan 등에서 3D 시멘틱 세그멘테이션, 인스턴스 세그멘테이션, 오픈‑보캘러리 검색, 어포던스·관절 예측 모두 기존 전용 모델을 능가했으며, 특히 ground‑truth 3D geometry를 사용한 방법보다도 높은 성능을 보였다. 이는 기하와 의미를 동시에 학습한 통합 모델이 뷰 간 일관성을 자연스럽게 학습함으로써 얻은 효과로 해석할 수 있다.

전반적으로 UNITE는 (1) 다중 뷰를 직접 처리하는 피드‑포워드 트랜스포머, (2) 2D 파운데이션 모델을 활용한 self‑supervised 디스틸레이션, (3) 뷰‑불변성을 강제하는 다중‑뷰 일관성 손실, (4) 태스크‑공유 백본 위에 경량 DPT 헤드들을 겹쳐 놓은 설계라는 네 가지 핵심 아이디어가 결합된 모델이다. 이러한 설계는 향후 3D 로봇, AR/VR, 디지털 트윈 등에서 실시간·다중‑태스크 장면 이해를 구현하는 데 중요한 기반이 될 것으로 기대된다.