점구조 이해를 위한 변형 가능한 Mamba, DM3D: 오프셋‑가이드 가우시안 시퀀싱

초록

DM3D는 포인트 클라우드의 불규칙성을 고려해 입력 순서를 동적으로 조정하는 변형 가능한 Mamba 구조를 제안한다. 오프셋‑가이드 가우시안 시퀀싱 메커니즘을 통해 지역 KNN 재샘플링(GKR)과 차별 가능한 순서 재배열(GDR)을 동시에 수행하고, Tri‑Path Frequency Fusion 모듈로 특징 융합을 강화한다. 실험 결과, 분류·Few‑Shot·파트 세그멘테이션 모두에서 최신 성능을 달성한다.

상세 분석

DM3D는 기존 SSM 기반 모델이 포인트 클라우드에 적용될 때 겪는 “시리얼라이제이션 고정” 문제를 근본적으로 해결한다. 핵심은 Offset‑Guided Gaussian Sequencing으로, 공간 오프셋(Δp)과 순서 오프셋(Δt)을 동시에 학습한다. Δp는 점들의 좌표를 미세하게 이동시켜 가우시안 기반 KNN 재샘플링(GKR)에서 이웃 점들의 가중치를 거리 기반 가우시안 함수 W(d;σ)로 부드럽게 조정한다. 이를 통해 구조적 연속성을 유지하면서도 지역적인 기하학적 변형을 허용한다. Δt는 기존 Hilbert curve 기반 인덱스에 연속적인 오프셋을 더해 연속적인 순위 분포를 만든다. 차별 가능한 재정렬(GDR)은 이 연속 분포를 가우시안 가중치 매트릭스로 변환해 역전파가 가능하도록 설계했으며, 전통적인 정렬 연산의 비미분성을 회피한다.

Deformable Mamba Block(DMB)에서는 세 개의 SSM 브랜치를 병렬로 배치한다. 기존 Forward‑SSM(F‑SSM)과 Channel‑Flip Backward‑SSM(C‑SSM)은 모델의 안정성을 보장하고, 새롭게 도입된 Deformable‑SSM(D‑SSM)은 위에서 설명한 GKR·GDR을 통해 입력 토큰 순서를 동적으로 재구성한다. 또한 Local Context Feature Aggregation(LCFA) 모듈이 주변 이웃의 특징을 집계해 오프셋 네트워크에 풍부한 기하학적 정보를 제공한다.

Tri‑Path Frequency Fusion(TPFF) 모듈은 F‑SSM, C‑SSM, D‑SSM 세 경로에서 추출된 주파수 특성을 서로 보완하도록 설계되었으며, 채널‑별 가중치와 정규화를 통해 별도 경로 간 중복을 억제하고 알리어싱을 감소시킨다.

실험에서는 ModelNet40, ScanObjectNN 등 대규모 3D 데이터셋에서 기존 PointMamba, Grid‑Mamba 등을 능가하는 정확도와 mIoU를 기록했으며, 특히 희소하거나 복잡한 구조를 가진 영역에서 GKR·GDR이 가져오는 구조‑적 적응성이 큰 이득을 주었다. 전체 파이프라인은 FPS → KNN → PointNet → Hilbert 초기 시리얼라이제이션 → DMB → TPFF 순으로 진행되며, 학습 가능한 오프셋은 전체 파라미터 대비 적은 비중을 차지해 효율성을 유지한다.

요약하면, DM3D는 포인트 클라우드의 비정형성을 고려한 동적 시리얼라이제이션을 구현함으로써 SSM 기반 모델이 장기 의존성을 효율적으로 학습하도록 만든 혁신적인 프레임워크라 할 수 있다.