실시간 대규모 포인트 클라우드 통합을 위한 자체 보정 시스템 SPARK

초록

SPARK는 다중 카메라 시스템에서 실시간으로 포인트 클라우드를 생성·통합하면서 카메라 외부 파라미터를 자동으로 보정하는 프레임‑와이즈 프레임워크이다. 기하학적 사전과 교차‑뷰·시간 일관성을 활용한 온라인 외부 파라미터 추정 모듈과, 픽셀·포인트 수준의 신뢰도와 가시성을 모델링한 자신감 기반 융합 전략을 결합해, 카메라 수에 선형적으로 확장하면서도 동적 장면에서 안정적인 3D 재구성을 제공한다.

상세 분석

본 논문은 실시간 다중 카메라 3D 재구성의 핵심 과제인 (1) 다중 뷰 포인트 클라우드 융합, (2) 카메라 외부 파라미터 불확실성, (3) 시스템 확장성을 동시에 해결하고자 한다. 기존 방법들은 전통적인 TSDF 기반 볼류메트릭 융합, SLAM 기반 프레임‑투‑프레임 정합, 혹은 오프라인 최적화(NeRF, 3DGS) 등으로 각각 한두 가지 문제만을 완화했으며, 고해상도·다중 카메라 환경에서는 메모리·연산량이 급증하거나 외부 파라미터 오차에 취약한 단점을 가지고 있었다.

SPARK는 두 개의 핵심 모듈로 구성된다. 첫 번째는 Geometry‑aware Online Extrinsic Estimation (GMAC) 으로, 다중 뷰 재구성 네트워크가 학습 과정에서 내재한 기하학적 일관성을 잠재 특징(latent geometry) 형태로 추출한다. 이 특징을 공유함으로써 모든 카메라의 외부 파라미터를 전역적으로 연관시키고, 가벼운 회귀 헤드가 초기 추정을 제공한다. 이후 교차‑뷰 투영 일관성(다른 카메라가 동일 3D 포인트를 동일하게 투영하도록)과 시간 일관성(연속 프레임 간 외부 파라미터 변화 최소화) 제약을 손실 함수에 포함시켜 실시간 최적화를 수행한다. 이 과정은 전역 번들 어드저스트먼트에 비해 연산량이 크게 감소하면서도 외부 파라미터 드리프트를 억제한다.

두 번째는 Confidence‑driven Point Cloud Generation and Fusion이다. 각 카메라의 깊이 맵에 대해 픽셀‑레벨 신뢰도(센서 노이즈, 반사·투명 물체 등)를 추정하고, 이를 기반으로 3D 포인트의 가시성(다른 카메라에서 보이는지 여부)과 가중치를 계산한다. 이렇게 얻은 가중치는 포인트 레벨에서도 재조정되어, 동일 위치에 대한 다중 관측이 충돌할 경우 신뢰도가 높은 관측만이 최종 클라우드에 반영된다. 중요한 점은 프레임‑와이즈, 누적‑없는 융합 방식을 채택함으로써 메모리 사용량이 카메라 수에 선형적으로 증가하고, 동적 씬에서도 과거 프레임에 의한 오류 전파가 일어나지 않는다.

실험에서는 수십 대에서 수백 대에 이르는 카메라 배열을 사용한 실제 환경 데이터를 대상으로, 기존 TSDF 기반 시스템, SLAM‑Fusion, 최신 학습 기반 외부 파라미터 추정 모델과 비교하였다. 정량적 평가는 외부 파라미터 RMSE, 포인트 클라우드 Chamfer Distance, 프레임당 처리 시간 등을 포함했으며, SPARK는 외부 파라미터 오차를 평균 30% 이상 감소시키고, 30 fps 이상의 실시간 속도를 유지하면서 100 M 포인트 규모의 클라우드를 안정적으로 생성했다. 또한, 동적 객체가 포함된 씬에서 시간적 안정성(프레임 간 포인트 위치 변동) 역시 현저히 개선되었다.

핵심 기여는 (1) 다중 뷰 기하학적 사전을 활용한 온라인 자체 보정 메커니즘, (2) 신뢰도 기반 다중 관측 융합으로 노이즈와 뷰 불일치를 억제하는 전략, (3) 프레임‑단위 독립 처리와 선형 복잡도로 대규모 시스템에 대한 확장성을 확보한 전체 파이프라인이다. 이러한 설계는 로봇 내비게이션, AR/VR 실시간 매핑, 대형 스튜디오 촬영 등 다양한 실시간 3D 인식 응용 분야에 바로 적용 가능할 것으로 기대된다.