TFusionOcc: 학생 t‑분포 기반 객체‑중심 다중 센서 융합으로 3D 점유 예측 혁신

초록

TFusionOcc는 학생 t‑분포와 T‑Mixture 모델을 활용한 객체‑중심 프리미티브(변형 슈퍼쿼드릭 등)를 도입하고, 조기·중기·후기 3단계 다중 센서 융합(MGCAFusion)으로 카메라와 라이다 정보를 효율적으로 결합한다. 이를 통해 nuScenes 벤치마크에서 최첨단 성능과 다양한 센서 손상 상황에서도 높은 견고성을 달성한다.

상세 분석

본 논문은 3D 시맨틱 점유 예측을 위한 새로운 프레임워크 TFusionOcc를 제안한다. 기존의 voxel‑기반 방법은 전체 공간을 균등하게 그리드화해 연산량이 크게 늘어나고, 3D Gaussian 기반 객체‑중심 방식은 기하학적 표현력이 제한적이며 외란에 취약하다는 단점을 가지고 있다. 이를 극복하기 위해 저자들은 세 가지 핵심 기술을 결합한다. 첫째, 확률 커널로 학생 t‑분포와 T‑Mixture 모델(TMM)을 사용한다. t‑분포는 Gaussian보다 두꺼운 꼬리를 가져 외란(노이즈, 센서 결함)에도 강인한 특성을 제공한다. TMM은 여러 t‑분포를 혼합해 복잡한 형태를 모델링하면서도 파라미터 수를 효율적으로 유지한다. 둘째, 프리미티브를 일반 T‑Primitive, 슈퍼쿼드릭, 그리고 역워프를 적용한 변형 슈퍼쿼드릭(Deformable Superquadric)으로 확장한다. 슈퍼쿼드릭은 구형·타원형을 넘어 다양한 비정형 형태를 매끄럽게 표현할 수 있으며, 역워프를 통해 비선형 변형까지 포괄한다. 셋째, 다중 단계(Multi‑Stage) 융합 전략을 도입한다. Early‑Fusion에서는 라이다와 카메라의 깊이 맵을 결합해 깊이‑인식 시각 특징을 생성하고, Middle‑Fusion에서는 외적 연산을 통해 깊이‑리프팅된 시각 특징을 얻는다. Late‑Fusion에서는 두 모달리티의 voxel 볼륨을 Skeleton‑Merge 모듈로 정렬·통합하고, 최종적으로 Transformer 기반의 Refine 모듈이 T‑프리미티브의 파라미터를 세밀히 조정한다. 이러한 설계는 각 센서의 장점을 최대한 살리면서 상호 보완적인 정보를 단계별로 흡수한다는 장점을 가진다. 실험 결과는 nuScenes와 nuScenes‑C(노이즈·날씨 변형)에서 기존 최첨단 모델들을 모두 앞선 mIoU·IoU·FPS를 기록했으며, 특히 라이다·카메라 손상 비율이 30 % 이상 증가했을 때도 성능 저하가 미미했다. Ablation Study에서는 t‑분포를 Gaussian으로 교체했을 때 성능이 2~3 % 감소하고, 변형 슈퍼쿼드릭을 일반 Gaussian 프리미티브로 대체했을 때도 세밀한 경계 표현이 약화되는 것을 확인했다. 전체적으로 TFusionOcc는 표현력, 연산 효율성, 그리고 견고성이라는 세 축을 모두 만족시키는 균형 잡힌 설계라 할 수 있다. 다만 현재는 라이다와 전방·후방 카메라 6대만을 사용했으며, 레이더·초음파 등 추가 센서와의 확장 가능성, 그리고 실시간 임베디드 구현에 대한 평가가 부족한 점은 향후 연구 과제로 남는다.