가우시안 기반 적응형 멀티모달 3D 점유 예측

초록

본 논문은 카메라와 LiDAR 데이터를 연계해 메모리 효율적인 연속 3D 가우시안 표현으로 점유 공간을 예측하는 GaussianOcc3D 프레임워크를 제안한다. LiDAR Depth Feature Aggregation, Entropy‑Based Feature Smoothing, Adaptive Camera‑LiDAR Fusion, Gauss‑Mamba Head 네 가지 핵심 모듈을 통해 기존 voxel 기반 방법의 연산 부담을 크게 낮추면서도 악천후·야간 등 어려운 환경에서도 높은 mIoU를 달성한다.

상세 분석

GaussianOcc3D는 “연속적인 3D 가우시안 혼합 모델”을 기본 표현으로 채택함으로써, 빈 공간을 voxel로 채우는 전통적인 방식이 초래하는 O(N³) 메모리·연산 비용을 회피한다. 각 가우시안은 평균 m, 회전 r, 스케일 s, 불투명도 σ, 그리고 클래스 로짓 c 로 파라미터화되며, 식 (1)‑(2)에서 정의된 가우시안‑to‑voxel splatting을 통해 voxel‑level 점유와 의미를 복원한다.

1️⃣ LiDAR Depth Feature Aggregation (LDFA)
Sparse LiDAR 포인트를 3D sparse encoder로 voxel‑화한 뒤, depth‑wise deformable sampling을 적용한다. 각 Gaussian anchor에 대해 K개의 오프셋을 학습하고, 해당 오프셋이 투사된 2D 좌표 uₖᵢ에 bilinear interpolation을 수행해 가중합 wₖᵢ·P_d(uₖᵢ) 를 계산한다(식 4). 또한, depth 차원을 K개의 chunk 로 나누어 stochastic depth와 cross‑depth attention을 도입함으로써, 깊이 편향과 sparsity에 대한 강인성을 확보한다(식 5‑6).

2️⃣ Entropy‑Based Feature Smoothing (EBFS)
카메라와 LiDAR 특성 간 분포 차이를 cross‑entropy 로 정량화한다. 두 특성을 각각 temperature‑scaled softmax 로 확률 분포 P_C, Q_L 로 변환하고, 양방향 CE H_{C→L}, H_{L→C} 를 구한다(식 8). 이 엔트로피를 exponential decay 로 가중치 W_C, W_L 로 변환한 뒤, residual F_i + ε·W_i 로 특성을 부드럽게 보정한다(식 9). 랜덤 레이어 선택을 통한 stochastic execution 은 과도한 보정 의존을 방지하고, 전반적인 표현 안정성을 높인다.

3️⃣ Adaptive Camera‑LiDAR Fusion (ACLF)
두 스트림을 cross‑attention 으로 사전 정제한 뒤, MLP 기반 soft‑gate M_gate 을 통해 동적 가중치를 학습한다(식 11). 이후 cosine similarity 기반 consistency gate W_consist 을 도입해 센서 간 불일치가 큰 채널을 억제한다(식 12). 이 과정은 저조도·비·반사 등 환경 변화에 따라 자동으로 신뢰도가 높은 센서를 강조함으로써, hallucination 및 multi‑path noise 를 효과적으로 차단한다.

4️⃣ Gauss‑Mamba Head
가우시안 집합을 1‑D 시퀀스로 재배열하고, positional encoding 을 평균 좌표 m 로 부여한다. 기존 Transformer 의 quadratic 비용을 피하기 위해 Selective State‑Space Model (Mamba) 를 적용, linear‑time 복합 전역 컨텍스트를 획득한다. 이는 대규모 점유 그리드에서도 실시간 처리 가능성을 제공한다.

학습 목표는 cross‑entropy 손실과 Lovász‑softmax 손실을 가중합한 L_total (식 3) 으로, 클래스 불균형을 보정하면서도 경계 정확도를 높인다. 실험 결과, Occ3D (49.4 % mIoU), SurroundOcc (28.9 %), SemanticKITTI (25.2 %) 에서 기존 최첨단 방법들을 모두 앞섰으며, 특히 비·야간 시나리오에서 5‑7 %p 수준의 성능 향상을 보였다.

전반적으로 GaussianOcc3D는 (1) 메모리·연산 효율성, (2) 멀티모달 정합성, (3) 환경 적응형 융합, (4) 전역 컨텍스트 모델링이라는 네 축을 균형 있게 구현함으로써 3D 점유 예측 분야에 새로운 패러다임을 제시한다.