LiDAR‑카메라 무표적 보정, 뉴럴 가우시안 스플래팅으로 한 차원 끌어올리다

초록

**
본 논문은 물리적 타깃 없이 LiDAR와 다중 카메라의 외부 파라미터를 동시에 최적화하는 TLC‑Calib 프레임워크를 제안한다. LiDAR 포인트를 고정 앵커 가우시안으로 활용하고, 보조 가우시안을 도입해 초기 자세가 부정확해도 지역적 과적합을 방지한다. 적응형 보셀 제어와 포토메트릭·기하학 정규화를 결합한 전미분 파이프라인으로 KITTI‑360, Waymo, Fast‑LIVO2 등에서 기존 무표적 방법들을 크게 앞선 정확도와 10배 이상 빠른 학습 시간을 달성한다.

**

상세 분석

**
TLC‑Calib은 3D Gaussian Splatting(3DGS)을 기반으로 한 신경 장면 표현을 활용한다는 점에서 기존 NeRF‑계열 방법과 차별화된다. 3DGS는 각 가우시안을 중심 µ, 공분산 Σ, 불투명도 α, 뷰‑종속 색 c 로 파라미터화하고, 전미분 가능한 라스터화 과정을 통해 카메라 자세 T에 대한 그래디언트를 직접 계산한다. 이때 LiDAR 포인트를 그대로 앵커 가우시안으로 고정함으로써 전역 스케일과 구조를 보존하고, 초기 자세가 크게 틀어져도 전역적인 왜곡을 최소화한다.

보조 가우시안은 각 앵커에 대해 학습 가능한 오프셋 δ와 스케일 ℓ을 MLP F_auxiliary 를 통해 예측한다. 이렇게 생성된 보조 가우시안은 LiDAR가 관측하지 못하는 영역(예: 하늘, 건물 상부)까지 장면을 확장시켜, 포토메트릭 손실이 해당 영역에서도 의미 있는 그래디언트를 제공하도록 만든다. 결과적으로 기존 3DGS‑Calib이 LiDAR‑관측 영역에만 국한돼 손실 표면이 급격히 변하는 문제를 완화하고, 보다 매끄러운 손실 풍경을 형성한다(그림 1 참고).

적응형 보셀 제어는 씬 스케일에 따라 보셀 크기 ε* 를 자동 조정한다. 큰 씬에서는 보셀을 크게 잡아 가우시안 수를 억제하고, 작은 씬에서는 세밀한 보셀로 정밀도를 유지한다. 또한 가우시안 스케일 정규화는 과도하게 얇거나 길쭉한 가우시안이 최적화 과정에서 지배적인 현상을 방지한다.

외부 파라미터 최적화는 카메라 리그 방식으로 수행된다. 각 이미지 (c, t) 를 무작위 샘플링해 포토메트릭 손실 L_photo 을 계산하고, 해당 카메라의 공통 외부 파라미터 T_ec 에 즉시 업데이트한다. 이는 다중 뷰에서 공유되는 외부 파라미터를 빠르게 수렴시키며, 배치 기반의 누적 그래디언트보다 메모리 효율이 높다.

실험 결과, KITTI‑360의 다양한 주행 시나리오(직진, 지그재그, 회전)에서 성공률(SR)이 100 %에 근접하고, 회전 오차는 평균 0.13°·번역 오차는 8.86 cm 이하로 기존 방법들을 크게 앞선다. Waymo와 Fast‑LIVO2에서도 동일한 경향을 보이며, 특히 학습 시간은 0.15 h 수준으로 3DGS‑Calib(≈1 h)보다 6배, 기존 딥러닝 기반 방법(>4 h)보다 30배 이상 빠르다.

이러한 설계는 (1) LiDAR를 전역 기준으로 삼아 스케일 일관성을 확보, (2) 보조 가우시안으로 지역적 자유도를 제공해 초기 자세 오차에 강인함, (3) 전미분 라스터화와 적응형 보셀 제어로 연산 효율성을 극대화한다는 세 가지 핵심 인사이트를 제공한다. 향후 실시간 차량 플랫폼이나 로봇 시스템에 바로 적용 가능하며, 다른 센서(예: 레이더, 초음파)와의 다중 모달 융합에도 확장성이 기대된다.

**