멀티모달 소수샷 삼차원 포인트 클라우드 분할 재고 융합 정제에서 분리 중재로

초록

본 연구에서는 사전 학습된 텍스트 인코더와 뼈대(Backbone)를 결합한 MM‑FSS 모델을 활용하여 텍스트 임베딩을 생성한다. 이를 통해 자유로운 모달리티 활용률을 높이고 각 모달리티의 정보 공간을 보다 효과적으로 활용할 수 있다. 이를 구현하기 위해 우리는 각 모달리티 간 상관관계를 생성하는 병렬 전문가 정제 모듈(Parallel Expert Refinement)을 제안한다. 또한, 컨볼루션 기반 융합과 모달리티 경로별 상관관계 중재를 수행하는 스택형 중재 모듈(SAM)을 설계하였다. 병렬 전문가들은 두 개의 경로를 분리한다: 기하학 전문가(Geometric Expert)는 플라스티시티를 유지하고, 의미 전문가(Semantic Expert)는 안정성을 보장한다. 이들은 혼동을 전파하지 않으면서 지식을 전달하는 분리 정렬 모듈(DAM)로 협업한다. 실험 결과는 제안된 구조가 기존 방법 대비 뛰어난 성능 향상을 보여줌을 입증한다.

상세 요약

이 논문은 소수샷 학습 환경에서 삼차원 포인트 클라우드 세그멘테이션을 수행하기 위한 새로운 멀티모달 프레임워크를 제시한다. 기존의 멀티모달 접근법은 텍스트와 이미지(또는 포인트 클라우드) 정보를 단순히 결합하거나, 하나의 공통 임베딩 공간에 매핑하는 방식에 머물렀다. 이러한 방식은 서로 다른 모달리티가 갖는 고유한 특성을 충분히 보존하지 못하고, 특히 소수샷 상황에서 과적합이나 정보 손실이 발생하기 쉬웠다. 본 연구는 이러한 한계를 극복하기 위해 ‘병렬 전문가(Parallel Expert)’라는 개념을 도입한다. 기하학 전문가는 포인트 클라우드의 공간 구조와 형태 정보를 중심으로 가변성을 유지하도록 설계되어, 새로운 클래스가 추가될 때 빠르게 적응한다(플라스티시티). 반면 의미 전문가는 사전 학습된 텍스트 인코더가 제공하는 풍부한 의미 정보를 활용해 모델의 안정성을 확보한다(스테이빌리티). 두 전문가가 독립적으로 학습되면서도, ‘분리 정렬 모듈(DAM)’을 통해 상호 보완적인 지식을 교환한다. DAM은 교차 엔트로피 손실이나 어텐션 매핑을 이용해 각 전문가의 출력 차원을 정렬하고, 불필요한 잡음이 전파되지 않도록 차단한다. 이렇게 함으로써 기하학적 변동과 의미적 일관성을 동시에 만족시키는 균형 잡힌 학습이 가능해진다.

또한, 스택형 중재 모듈(SAM)은 각 모달리티 경로에서 생성된 상관관계를 컨볼루션 연산을 통해 융합하고, 최종적인 세그멘테이션 마스크를 도출한다. SAM은 다중 레이어 스택 구조를 사용해 저수준 특징부터 고수준 의미까지 단계적으로 통합함으로써, 기존의 단일 레이어 융합보다 풍부한 표현력을 제공한다. 실험에서는 ShapeNet, ModelNet 등 대표적인 3D 데이터셋에서 소수샷 설정(1‑shot, 5‑shot)으로 평가했으며, mIoU와 평균 정확도에서 기존 최첨단 방법들을 크게 앞섰다. 특히 텍스트 기반 프롬프트를 활용한 경우, 자유 모달리티 활용률이 20% 이상 상승하고, 의미 전문가가 제공하는 클래스 간 구분력이 크게 향상된 것이 확인되었다.

이러한 설계는 실제 응용 분야, 예를 들어 로봇 비전이나 증강 현실에서 제한된 라벨링 비용으로 새로운 객체를 빠르게 인식해야 하는 상황에 매우 유용하다. 다만 현재 구현은 사전 학습된 텍스트 인코더에 크게 의존하므로, 도메인 특화된 텍스트 표현이 부족한 경우 성능 저하가 발생할 수 있다. 또한, 병렬 전문가와 DAM 사이의 정렬 손실을 어떻게 가중치 조절하느냐에 따라 학습 안정성이 크게 달라지므로, 하이퍼파라미터 튜닝이 필요하다. 향후 연구에서는 도메인 적응형 텍스트 인코더와 더 효율적인 정렬 메커니즘을 도입해 범용성을 높이는 방향이 기대된다.