프린지 투 깊이 매핑을 위한 포괄적 머신러닝 벤치마크와 포토리얼리틱 합성 데이터

초록

본 논문은 NVIDIA Isaac Sim을 활용해 50개의 물체와 15,600개의 프린지 이미지를 포함한 포토리얼리틱 합성 데이터셋을 공개하고, 단일 프린지 이미지만으로 3D 깊이맵을 예측하는 딥러닝 모델들의 학습·평가 프로토콜을 체계적으로 정립한다. 정규화 방식, 손실 함수, 네트워크 아키텍처를 단계별로 Ablation 실험한 결과, 개별 정규화 + Hybrid L1(α=0.7) 조합이 최적이며 UNet이 가장 높은 정확도를 보인다. 그러나 최적 모델의 평균 객체 오차가 14.5 mm에 불과해 전통적인 다중‑위상 FPP의 서브‑밀리미터 수준과는 큰 격차가 있으며, 이는 단일 프린지 이미지가 제공하는 정보량이 근본적으로 부족함을 의미한다.

상세 분석

이 연구는 프린지 투 프로젝션 프로파일로메트리(FPP) 분야에서 머신러닝 기반 단일‑샷 재구성의 한계를 정량적으로 규명한 점이 가장 큰 의의이다. 먼저, 기존 연구들이 데이터 부족과 평가 표준 부재로 인해 결과를 직접 비교하기 어려웠던 문제를 해결하기 위해, NVIDIA Isaac Sim의 물리 기반 렌더링 파이프라인을 이용해 광학적 복잡성을 그대로 재현한 15,600장의 프린지 이미지와 300개의 정확한 깊이 지도(밀리미터 단위)를 제공한다. 데이터는 50개의 다양한 물체(YCB 및 NVIDIA AI Warehouse)와 6개의 뷰포인트, 18단계 위상 이동 시퀀스를 포함해 실제 현장 환경을 충분히 모사한다.

정규화 실험에서는 원시 깊이(mm)와 전역 정규화(m) 두 가지 전통적 접근법이 객체 형태와 절대 스케일을 동시에 학습해야 하는 부담으로 MAE가 각각 148 mm, 82 mm에 머물렀다. 반면, 각 샘플을