시점 인식 로그깊이 융합으로 결손 깊이와 법선 지도 복원

초록

본 논문은 단일 퍼스펙티브 카메라에서 획득한 깊이 지도와 표면 법선 지도를 결합하는 새로운 로그‑깊이 기반 융합 기법을 제안한다. 기존의 직교(orthographic) 가정에 의존하던 방법들을 로그‑깊이 변환을 통해 퍼스펙티브 투영을 정확히 고려하도록 확장함으로써, 메트릭 정확도를 유지하면서 결손된 깊이 영역을 법선 정보만으로 자연스럽게 인페인팅한다. DiLiGenT‑MV 데이터셋 실험에서 제안 방법이 기존 최첨단 기법보다 RMSE와 MAE 모두에서 우수한 성능을 보였다.

상세 분석

이 논문은 3D 재구성 분야에서 깊이 지도와 표면 법선 지도를 동시에 활용하는 문제를 퍼스펙티브 카메라 모델에 맞게 재정의한다. 핵심 아이디어는 깊이 값을 로그 변환(ℓ = ln d)함으로써, 퍼스펙티브 투영 하에서도 법선과 깊이 그래디언트 사이의 선형 관계식(식 14)을 얻는 것이다. 이 관계식은 직교 경우에 사용되던 식 7과 구조는 동일하지만, 카메라 내·외부 파라미터(f, c_u, c_v)를 명시적으로 포함한다는 점에서 차별화된다.

로그‑깊이 변환 후, 기존의 직교 기반 최적화(식 8)와 TGV(식 9)와 같은 1차·2차 정규화 기법을 그대로 적용할 수 있다. 즉, 깊이 일관성 항(α·κ·‖ℓ‑ln d_obs‖²)과 그래디언트 일관성 항(β·‖∇ℓ‑ĝ_obs‖²)을 동시에 최소화하는 이차형 목적함수는 여전히 볼록(convex)하므로, 대규모 선형 시스템을 효율적으로 풀 수 있다.

결손 깊이 영역은 confidence map κ가 0인 픽셀에서 깊이 일관성 항이 사라지고, 그래디언트 일관성 항만 남게 된다. 따라서 법선으로부터 유도된 로그‑깊이 그래디언트 ĝ_obs만을 이용해 자연스럽게 인페인팅이 이루어진다. 이는 별도의 전처리 보간이나 히스토그램 매칭 없이도 깊이 결함을 메우는 강력한 장점이다.

퍼스펙티브-aware 융합을 구현하기 위한 알고리즘은 매우 간단하다. 1) 입력 깊이 지도 d_obs를 로그 변환, 2) 법선 지도 n_obs를 식 14에 따라 로그‑깊이 그래디언트 ĝ_obs로 변환, 3) 기존 직교 융합 코드를 그대로 적용해 ℓ̂를 얻고, 4) ℓ̂를 지수화(exp)해 최종 깊이 d̂를 복원한다. 이 과정에서 추가적인 파라미터 튜닝이 거의 필요 없으며, 기존 구현을 그대로 재사용할 수 있다.

실험에서는 DiLiGenT‑MV 데이터셋의 5개 객체에 대해, SL(Structured Light) 깊이 센서의 저해상도·결손·노이즈 특성을 시뮬레이션하고, PS(Photometric Stereo)에서 얻은 고해상도·무결함 법선을 사용하였다. 결손 비율을 25%까지 높인 뒤에도 제안 방법은 RMSE와 MAE 모두에서 기존 직교 기반 융합(Ortho)과 naive 퍼스펙티브 변환(Naive)보다 현저히 낮은 오류를 기록했다. 특히 TGV 기반 퍼스펙티브 융합은 스테어케이싱(staircasing) 현상을 억제하면서도 부드러운 표면을 복원하는 데 성공했다.

이 논문의 주요 공헌은 (1) 로그‑깊이 변환을 통한 퍼스펙티브‑aware 융합 프레임워크 제시, (2) 결손 깊이 데이터를 법선만으로 자연스럽게 인페인팅하는 원리 제공, (3) 기존 직교 기반 알고리즘을 최소 수정으로 재사용 가능하게 함으로써 구현 복잡도를 크게 낮춘 점이다. 또한, 실시간 단일‑뷰 시스템에 적용 가능하도록 계산량이 적고, 다중‑뷰나 딥러닝 기반 통합보다 해석적이고 직관적인 해법을 제공한다는 점에서 실용성이 높다. 향후 연구에서는 로그‑깊이 변환을 딥 네트워크 입력으로 활용하거나, 비정규화된 카메라 파라미터(왜곡 등)를 포함한 보다 일반적인 투영 모델에 확장하는 방향이 기대된다.