다중해상도 정렬로 해결하는 카메라 기반 3D 시맨틱 씬 완성의 빈볼륨 문제

초록

**
본 논문은 카메라만을 이용한 3D 시맨틱 씬 완성(SSC)에서 대부분이 비어 있는 볼륨 라벨에 의존해 학습 효율이 떨어지는 ‘볼륨 희소성’ 문제를 해결한다. 저자는 다중해상도 3D 특징을 정렬하는 보조 감독 메커니즘을 제안한다. 핵심은 (1) 2D 이미지 특징을 다중해상도 3D 격자에 투사하고 시드 특징을 융합하는 다중해상도 뷰 트랜스포머(MVT), (2) 각 볼륨의 의미적 중요도를 3×3×3 입방체 이웃 내 차이를 통해 정량화하는 입방형 시맨틱 이방성(CSA), (3) CSA와 점유 확신을 기반으로 선택된 핵심 볼륨을 앵커로 삼아 해상도 간 특징 분포 일치를 강제하는 **핵심 분포 정렬(CDA)**이다. 실험 결과, SemanticKITTI와 SSCBench‑KITTI‑360에서 기존 최첨단 방법들을 크게 앞섰으며, 빈볼륨에 의한 학습 편향을 효과적으로 완화한다는 것을 입증한다.

**

상세 분석

**
본 연구는 카메라 기반 3D 시맨틱 씬 완성(SSC) 분야에서 ‘볼륨 희소성’이라는 근본적인 한계를 정확히 짚어낸다. 기존 방법들은 라벨이 부여된 볼륨(대부분이 차선, 차량, 보행자 등 실제 객체)만을 손실 함수에 활용하기 때문에, 전체 볼륨 중 92 % 이상을 차지하는 빈 공간이 학습에 거의 기여하지 못한다. 이는 (1) 그래디언트가 실제 의미 있는 영역에 충분히 전달되지 않아 수렴이 느려지고, (2) 손실이 빈 공간에 의해 압도돼 모델이 무의미한 ‘빈 공간 최소화’에만 최적화되는 두 가지 부작용을 낳는다.

MRA는 이러한 문제를 ‘다중해상도 정렬’이라는 새로운 보조 감독 신호를 도입함으로써 해결한다. 첫 번째 모듈인 **다중해상도 뷰 트랜스포머(MVT)**는 기존 단일 해상도 뷰 트랜스포머를 확장한다. 2D 이미지 피처를 미리 정의된 여러 해상도(예: 0.5 m, 1 m, 2 m)의 3D 격자에 투사하고, 각 해상도에서 추출된 ‘시드’ 피처를 교차 융합한다. 이 과정은 고해상도에서 얕은 의미 정보를, 저해상도에서는 전역적인 구조 정보를 동시에 확보하게 해, 빈 공간에서도 의미 있는 피처가 형성되도록 만든다.

두 번째 모듈인 **입방형 시맨틱 이방성(CSA)**는 각 볼륨의 의미적 ‘중요도’를 정량화한다. 기존 실내용 LGA와 달리, 자동차 주행 환경의 복잡한 클래스 구성을 고려해 ‘자전거·오토바이’와 같이 의미적으로 유사한 클래스를 재클러스터링한다. 그런 뒤 3×3×3 입방체 이웃 내에서 표면·에지·버텍스 수준의 시맨틱 차이를 모두 집계해 이방성 점수를 산출한다. 이 점수는 객체 경계와 내부를 구분하고, 특히 경계 근처의 볼륨이 학습에 더 큰 영향을 미치도록 가중치를 부여한다.

세 번째 모듈인 **핵심 분포 정렬(CDA)**는 CSA와 점유 확신을 이용해 ‘핵심 볼륨’을 선택한다. 이 핵심 볼륨은 인스턴스 수준의 앵커 역할을 하며, 서로 다른 해상도에서 동일한 공간에 해당하는 피처 분포가 일관되도록 강제한다. 구체적으로, 선택된 핵심 볼륨들의 특징 벡터를 각 해상도별로 추출한 뒤, 순환 손실(circulated loss)을 적용해 서로 간의 L2 거리와 코사인 유사도를 최소화한다. 이 보조 손실은 빈 공간에 의해 왜곡된 기존 라벨 손실을 보완해, 전체 네트워크가 더 균형 잡힌 그래디언트를 받게 만든다.

실험에서는 SemanticKITTI와 SSCBench‑KITTI‑360 두 대규모 벤치마크에서 mIoU, IoU(빈 공간 제외) 등 주요 지표가 기존 최첨단 방법보다 평균 2~4 %p 상승했으며, 특히 작은 객체(보행자, 자전거)와 경계 영역에서 눈에 띄는 개선을 보였다. Ablation study를 통해 각 모듈(MVT, CSA, CDA)의 독립적인 기여도를 검증했으며, 특히 CDA가 없는 경우 빈 공간에 대한 과적합 현상이 재발함을 확인했다.

전반적으로 MRA는 ‘다중해상도 특징 정렬’이라는 새로운 학습 패러다임을 제시함으로써, 라벨 희소성에 취약했던 카메라 기반 SSC를 크게 향상시킨다. 다만 현재는 정적 이미지 시퀀스에만 적용했으며, 동적 장면(예: 급격한 조명 변화)이나 실시간 추론 효율성에 대한 추가 연구가 필요하다.

**