LiDAR 반사도 기반 눈에 띄는 가우시안 스플래팅

초록

LR‑SGS는 LiDAR 강도 정보를 반사도로 보정하고 이를 조명에 무관한 재질 채널로 활용한다. LiDAR와 RGB의 보완성을 살려, 엣지와 평면 구조를 강조하는 ‘Salient Gaussian’을 도입하고, 향상된 밀도 제어와 Salient‑Transform으로 구조적 특징을 효율적으로 초기화·업데이트한다. Waymo Open Dataset에서 복잡한 조명·고속 주행 상황에서도 기존 3DGS 기반 방법보다 적은 가우시안 수와 짧은 학습 시간으로 PSNR·SSIM 등에서 우수한 성능을 보인다.

상세 분석

본 논문은 자율주행 환경에서 고품질 3D 재구성을 목표로, 기존 3D Gaussian Splatting(3DGS) 방식이 갖는 두 가지 한계를 극복한다. 첫째, 카메라만 이용한 경우 조명 변화와 급격한 ego‑motion에 취약한데, LiDAR는 깊이와 강도 정보를 제공함으로써 이러한 문제를 보완한다. 둘째, 기존 LiDAR 활용 방법은 포인트 클라우드로 가우시안을 초기화하거나 깊이 손실만 적용해, 반사도와 같은 물성 정보를 충분히 이용하지 못한다. LR‑SGS는 LiDAR 강도를 거리·입사각 보정 후 ‘반사도’로 변환하고, 이를 가우시안의 추가 속성 채널로 삽입한다. 이 채널은 조명에 거의 영향을 받지 않아 RGB와의 경계 일관성을 강화하고, 물질 경계에서의 흐림을 감소시킨다.

구조‑인식 ‘Salient Gaussian’ 설계는 두 가지 핵심 아이디어를 포함한다. 첫째, 엣지와 평면을 구분하는 지배 축(d_spec)을 갖는 비대칭 공분산 행렬을 사용해, 엣지에서는 한 축을 길게, 평면에서는 두 축을 얇게 유지한다. 이렇게 하면 파라미터 수를 σ∥와 σ⊥ 두 개로 줄이면서도 형태 표현력을 유지한다. 둘째, LiDAR 포인트에서 ‘geometric feature points’(smoothness 기반)와 ‘reflectance edge points’(반사도 그래디언트 기반)를 추출해 초기 Salient Gaussian을 배치한다. 이는 초기 스캐폴드 역할을 하여 학습 초기에 구조적 제약을 제공하고, 수렴 속도를 크게 높인다.

밀도 제어 측면에서는 기존 3DGS의 단순 분할(split) 방식을 확장한다. 엣지 Salient Gaussian은 지배 축을 따라, 평면 Salient Gaussian은 지배 축에 수직인 평면 내에서 분할한다. 또한 ‘Salient Transform’ 메커니즘을 도입해, Gaussian의 스케일 비율(L, P)을 모니터링하고, 일정 기간 동안 선형성·평면성이 강하면 Non‑Salient를 Salient로 승격하고, 반대로 구분력이 약해지면 다시 비활성화한다. 이 동적 전환은 가우시안 집합이 핵심 구조에 집중하도록 하여 메모리·연산 효율을 극대화한다.

렌더링 단계에서는 색상, 깊이, 반사도를 각각 α‑블렌딩으로 합성하고, sky 노드와의 합성을 통해 배경을 처리한다. 반사도는 LiDAR가 측정하지 못하는 하늘 영역을 제외하고 직접 사용한다. 손실 함수는 세 부분으로 구성된다. (1) RGB 기반 색상 손실(L_rgb)은 L2와 SSIM을 결합해 시각적 일관성을 확보한다. (2) LiDAR 손실(L_lidar)은 깊이와 반사도 두 가지 항을 포함해 기하학·재질 일치를 강제한다. (3) Joint 손실(L_joint)은 반사도와 그레이스케일 RGB 그래디언트의 방향·크기 일치를 정규화해 경계에서의 흐림을 억제한다.

실험에서는 Waymo Open Dataset의 세 가지 난이도 높은 시나리오(밀집 교통, 고속 주행, 복합 조명)와 정적 장면을 대상으로 평가했다. LR‑SGS는 동일한 훈련 시간 대비 가우시안 수를 평균 30% 감소시키면서, 복합 조명 시 PSNR에서 OmniRe보다 1.18 dB, SSIM에서 0.012 향상했다. 또한 학습 시간은 기존 방법 대비 25% 가량 단축되었다. 정량적 결과 외에도, 물체 교체·삭제와 같은 씬 편집 실험에서 경계가 선명하게 유지되는 등 실용적인 장점이 확인되었다.

전반적으로 LR‑SGS는 LiDAR와 RGB의 상호 보완성을 최대한 활용하고, 구조‑인식 가우시안과 동적 밀도 제어를 결합함으로써 자율주행 시나리오에 최적화된 고품질 3D 재구성을 실현한다. 향후 연구에서는 동적 물체의 변형을 더 정밀히 모델링하거나, 실시간 라이다‑카메라 캘리브레이션 오류에 대한 강인성을 강화하는 방향으로 확장할 여지가 있다.