신경망 특징 해독으로 강력한 단일 샷 구조광 3D 이미징

초록

본 연구는 단일 샷 구조광 3D 이미징의 핵심 문제인 깊이 대응 해독 방식을 혁신합니다. 취약한 픽셀 도메인 매칭 대신, 투사된 패턴과 적외선 이미지에서 추출한 신경망 특징을 매칭하는 새로운 프레임워크(NSL)를 제안합니다. 대규모 합성 데이터로만 훈련되었음에도 실제 환경에서 뛰어난 일반화 성능을 보이며, 난제(반사면, 저텍스처 영역 등)에서 기존 상용 시스템 및 수동 스테레오 방법을 능가합니다.

상세 분석

본 논문이 제안하는 NSL(Neural Structured Light) 프레임워크의 기술적 핵심은 ‘매칭 도메인의 전환’에 있습니다. 기존 구조광 시스템이 의존하던 픽셀 강도 기반의 국소 패치 매칭은 반사, 미세 구조, 가림 등에 극도로 취약합니다. NSL은 이를 해결하기 위해 투사 패턴과 IR 카메라 영상 각각에서 심층 신경망을 통해 고수준 특징을 추출하고, 이 특징 공간에서 대응점을 찾습니다. 이는 단순히 텍스처를 추가하는 수동 스테레오 접근과 근본적으로 다르며, 시스템이 사전에 알고 있는 투사 패턴의 공간적 부호화 정보를 적극적으로 활용할 수 있게 합니다.

구체적으로, 특징 매칭 모듈은 RAFT-Stereo에서 영감을 받아 다중 해상도의 비용 볼륨 피라미드를 구축하고 GRU 기반 반복 정제를 수행합니다. 여기서 비용 볼륨은 왼쪽 IR 이미지 특징맵과 ‘투사 패턴 특징맵’ 사이의 상관관계로 계산됩니다. 이는 패턴이 제공하는 강력한 기하학적 단서를 매칭 과정에 직접 주입하는 효과가 있습니다. 또한, 정제 모듈은 초기 깊이맵을 ‘프롬프트’로 사용하여 대규모 단안 깊이 추정 모델(DPT)의 지식을 융합합니다. 이를 통해 삼각측량 단계에서 발생할 수 있는 오차를 보정하고, 경계와 미세 구조의 디테일을 현저히 향상시킵니다.

또한, 실험적 검증을 위한 대규모 고품질 합성 데이터셋 구축은 방법론만큼 중요한 기여입니다. 물리 기반 렌더링을 통해 반사, 투명, 다양한 조명 조건 등을 현실적으로 모사한 약 100만 개의 데이터를 생성함으로써, 심각한 시뮬레이션-현실 간 도메인 갭 문제를 극복했습니다. 네트워크가 픽셀 값이 아닌 ‘패턴의 구조’에서 대응을 학습하기 때문에, 합성 데이터만으로도 실제 센서(Intel D415, Kinect 등)에서 탁월한 일반화 성능을 발휘할 수 있었습니다. 이는 실제 데이터 수집의 어려움을 해결하고 향후 연구에 표준 데이터셋으로 활용될 수 있는 중요한 인프라입니다.