360도 깊이 추정의 새로운 패러다임, PanoGabor 기반 왜곡‑인식 융합

초록

본 논문은 단일 360° 이미지에서 깊이 맵을 추정하기 위해, 위도‑특화 왜곡 보정 Gabor 필터(PanoGabor)와 채널·공간 단방향 융합 모듈(CS‑UFM)을 결합한 PGFuse 프레임워크를 제안한다. 기존 방법이 다양한 투시 변환을 ERP 형태로 다시 통합하면서 발생하는 왜곡을 명시적으로 보정하지 못한 점을 개선하고, 주파수 영역에서 텍스처를 분석해 수용 영역을 확장함으로써 깊이 단서를 강화한다. 실험 결과 Stanford2D‑3D, Matterport3D, Structured3D 등 3대 실내 데이터셋에서 기존 최첨단 모델들을 능가한다.

상세 분석

PGFuse는 360° 이미지의 고유 왜곡과 넓은 시야각(FoV) 문제를 두 단계에서 해결한다. 첫 번째 단계는 기존 연구와 마찬가지로 큐브맵(Cubemap) 변환을 이용해 ERP의 비균일 왜곡을 지역적으로 완화한다. 여기서는 원본 큐브맵과 45° 회전 큐브맵을 동시에 사용해 경계 seam과 픽셀 손실을 최소화하고, 두 뷰의 특징을 정렬한 뒤 ERP 형태로 재통합한다. 두 번째 단계가 핵심인 왜곡‑인식 Gabor 융합이다. 저자들은 Gabor 필터가 인간 시각 시스템의 2차원 수용 영역을 모방해 방향·주파수 정보를 동시에 포착한다는 점에 착안, 이를 360° 이미지에 적용하기 위해 위도에 따라 가중치를 조정하는 ‘위도‑인식 왜곡 표현(Latitude‑aware Distortion Representation)’을 도입한다. 수식 (3)·(4)에서 정의된 왜곡 계수 K(ϕ)=1/ cos(ϕ)−1을 기반으로, 필터의 파라미터(주파수, 방향, 스케일)를 위도별로 변형해 PanoGabor 필터를 생성한다. 이렇게 설계된 필터는 ERP 복원 과정에서 발생하는 재왜곡을 사전에 보정하면서, 텍스처의 고주파 성분을 강조해 깊이 경계와 구조적 단서를 강화한다.

PGFuse의 CS‑UFM은 채널‑와 공간‑축을 각각 독립적으로 처리하는 일방향 융합 모듈이다. 채널‑wise 단계에서는 PanoGabor 필터가 생성한 왜곡‑보정 특징을 기존 ERP·Cubemap 특징과 결합하고, 공간‑wise 단계에서는 2D 컨볼루션을 통해 지역적 정합성을 확보한다. 이 구조는 양방향 Fusion(예: BiFuse)에서 발생하는 높은 연산·메모리 비용을 크게 낮추면서도, 정보 손실 없이 효과적인 통합을 가능하게 한다.

또한 Gabor 필터는 회전 민감도가 높은데, 이를 완화하기 위해 ‘구면 그라디언트 제약(Spherical Gradient Constraint)’을 도입한다. ERP 깊이 맵을 구면 접평면에 투사한 뒤 Sobel 연산자를 적용해 방향별 그라디언트를 정규화함으로써, 필터 회전 시 발생할 수 있는 불안정성을 억제한다.

실험에서는 세 가지 대표적인 실내 360° 데이터셋(Stanford2D‑3D, Matterport3D, Structured3D)에서 RMSE, Abs Rel, Sq Rel, δ<1.25 등 표준 지표를 사용해 기존 최첨단 모델(BiFuse, UniFuse, HRDfuse, Elite360D 등)과 비교하였다. PGFuse는 모든 지표에서 평균 5%~12% 정도의 개선을 보였으며, FLOPs와 파라미터 수에서도 경쟁 모델보다 효율적인 구성을 유지한다. 특히 고위도 영역에서의 깊이 오류가 크게 감소했으며, 이는 위도‑인식 Gabor 필터가 왜곡을 효과적으로 보정한 결과로 해석된다.

한계점으로는 현재 실험이 실내 정적 장면에 국한되어 있어, 동적 씬이나 야외 광범위 환경에서의 일반화 성능은 추가 검증이 필요하다. 또한 PanoGabor 필터의 파라미터 최적화가 데이터셋 의존적일 수 있어, 다양한 도메인에 적용하려면 사전 학습된 파라미터의 전이 가능성을 탐색해야 한다.

전반적으로 PGFuse는 왜곡‑인식 필터와 효율적인 융합 모듈을 결합해 360° 깊이 추정의 핵심 문제인 재왜곡을 근본적으로 해결했으며, 향후 360° 비전 시스템(예: 로봇 내비게이션, AR/VR)에서 실시간 적용 가능성을 높이는 중요한 진전이라 할 수 있다.