다중스케일 방향성 팽창 라플라시안과 GRU 기반 깊이 추정

초록

본 논문은 전통적인 초점 측정 연산인 Directional Dilated Laplacian(DDL) 커널을 활용해 다중스케일 초점 볼륨을 빠르게 생성하고, 이를 경량화된 다중스케일 GRU 네트워크에 입력하여 저해상도에서 단계적으로 깊이를 정제한다. 마지막으로 학습된 Convex Upsampling 모듈을 통해 고해상도 깊이 맵을 복원한다. 실험 결과, 합성·실제 데이터 모두에서 기존 딥러닝 기반 SFF 방법보다 정확도와 경계 보존 능력이 우수함을 보였다.

상세 분석

본 연구는 Shape‑from‑Focus(SFF) 분야에서 두 가지 주요 병목 현상을 동시에 해결한다. 첫 번째는 초점 볼륨 생성 단계에서 발생하는 연산량과 잡음 민감도이며, 두 번째는 3‑차원 초점 볼륨을 단일 단계로 깊이 맵으로 압축할 때 발생하는 공간 정보 손실이다. 이를 위해 저자들은 Directional Dilated Laplacian(DDL) 커널을 설계하였다. DDL은 기존 라플라시안 연산에 방향성(directional)과 팽창(dilation) 파라미터를 도입해, 이미지의 장거리 및 방향성 흐름을 포착한다. 여러 팽창률을 적용함으로써 다양한 스케일의 초점 변화를 동시에 감지하고, 손쉬운 2‑D 컨볼루션 연산만으로 초점 볼륨을 생성한다는 점에서 계산 효율성이 뛰어나다. 또한, handcrafted 특성이라 학습 파라미터가 없으므로 데이터 부족 상황에서도 강인한 성능을 유지한다.

두 번째 단계에서는 생성된 초점 볼륨과 보조 컨텍스트 피처를 입력으로 하는 다중스케일 GRU 네트워크를 도입한다. GRU는 순환 구조를 통해 이전 단계의 깊이 추정값을 기억하고, 현재 스케일의 초점 정보와 전역 컨텍스트를 결합해 점진적으로 깊이 맵을 개선한다. 저해상도에서 반복적으로 업데이트함으로써 메모리 사용량을 크게 절감하면서도, 고해상도 디테일을 보존할 수 있다. 특히, 다중스케일 설계는 큰 구조와 미세 경계 모두를 효과적으로 처리한다.

마지막으로, 학습 가능한 Convex Upsampling 모듈을 사용해 저해상도 깊이 맵을 고해상도로 복원한다. 기존의 전통적인 보간 방법과 달리, 이 모듈은 깊이 값과 이미지 경계 정보를 동시에 고려해 convex 조합을 학습함으로써 경계 흐림 현상을 최소화한다.

실험에서는 합성 데이터인 Light‑Field‑Dataset와 실제 촬영된 실내·실외 스택을 모두 사용했으며, 기존 딥러닝 기반 SFF 모델(N‑H. Wang et al., 2021; Won & Jeon, 2022) 및 전통적인 FM 기반 방법과 비교했다. 정량적 지표(MAE, RMSE, SSIM)와 정성적 시각화 모두에서 제안 방법이 우수했으며, 특히 저조도·노이즈가 심한 상황에서도 안정적인 깊이 추정이 가능했다.

한계점으로는 DDL 커널이 고정된 형태이기 때문에 특정 도메인(예: 의료 영상)에서 최적화가 필요할 수 있으며, GRU 기반 반복 단계의 수가 증가하면 추론 시간이 늘어나는 점을 들 수 있다. 향후 연구에서는 자동화된 커널 설계와 더 효율적인 순환 구조(예: ConvLSTM) 도입을 통해 실시간 적용성을 높일 여지가 있다.