동적 장면 모션 디블러링을 위한 적응형 네트워크

초록

본 논문은 동적 장면에서 발생하는 비균일 모션 블러를 효율적으로 복원하기 위해, 공간‑적응형 잔차 학습 모듈과 셀프‑어텐션 모듈을 결합한 경량 네트워크를 제안한다. 또한 영상 디블러링을 위해 시공간 순환 구조를 도입해 실시간 수준의 추론 속도와 높은 복원 정확도를 동시에 달성한다.

상세 분석

본 연구는 기존 디블러링 모델이 큰 receptive field를 확보하기 위해 층 수·필터 크기·멀티스케일 처리에 의존하는 한계를 지적한다. 이러한 접근은 파라미터 폭증과 연산량 증가를 초래함은 물론, 블러가 공간적으로 불균일하게 발생한다는 사실을 무시한다는 점에서 비효율적이다. 저자들은 두 가지 핵심 아이디어로 이를 극복한다. 첫째, Deformable Residual Module(DRM)을 도입해 각 픽셀마다 학습된 오프셋을 통해 필터 샘플링 위치를 동적으로 변형한다. 이는 전통적인 고정 격자 컨볼루션이 갖는 “공간 불변성”을 깨고, 모션 블러가 본질적으로 방향성·비대칭성을 띠는 점을 직접 모델링한다는 점에서 혁신적이다. 오프셋은 0으로 초기화되며, bilinear interpolation을 통해 미분 가능하게 설계돼 end‑to‑end 학습이 가능하다. 둘째, Self‑Attention Module을 네트워크 중간에 삽입해 전역적인 비국소 관계를 포착한다. 이는 제한된 receptive field를 보완해 장거리 의존성을 효율적으로 학습하게 하며, 특히 큰 움직임이나 복잡한 깊이 변화를 포함한 장면에서 성능 향상을 가져온다.

영상 디블러링을 위한 확장으로 제안된 Spatio‑Temporal Recurrent Module은 프레임‑레벨과 피처‑레벨에서 순환 연결을 구성한다. 인코더‑디코더 구조의 중간 피처에 시간 축으로 정보를 전달함으로써, 인접 프레임 간의 중복 정보를 효과적으로 활용한다. 이때 별도의 광학 흐름 정합이나 프레임 정렬 과정을 거치지 않아 연산 오버헤드가 최소화된다.

이론적 분석에서는 모션 블러를 2‑D IIR 모델로 표현하고, 블러 커널이 방향성을 가질 경우 역필터 역시 동일한 방향성을 갖는다는 가설을 제시한다. 따라서 “Deblurring filters are directional/asymmetric”이라는 가정 하에, 비대칭·어댑티브 필터를 학습하는 것이 효율적임을 수학적으로 뒷받침한다.

실험에서는 기존 최첨단 모델인 SRN(Scale Recurrent Network)·DV​D·OVD와 비교해 파라미터 수는 7M 이하(약 1.2M)로 크게 줄이면서도 PSNR/SSIM에서 평균 0.5~1.2dB 향상을 기록한다. 특히 실시간(>30FPS) 추론이 가능함을 GPU(RTX 2080 Ti) 기준으로 입증한다. Ablation study에서는 DRM, Self‑Attention, Temporal Recurrence 각각을 제거했을 때 성능이 현저히 감소함을 보여, 제안 모듈들의 상호 보완적 기여를 확인한다.

전체적으로 이 논문은 “큰 receptive field를 위한 무조건적인 네트워크 확장” 대신 “입력에 맞춰 동적으로 변형되는 필터와 전역 어텐션”을 통해 효율성과 정확성을 동시에 달성한 설계 철학을 제시한다. 다만, DRM이 학습 과정에서 오프셋이 과도하게 변형될 경우 불안정해질 수 있다는 점과, 매우 극단적인 블러(예: 100픽셀 이상)에서는 여전히 한계가 존재한다는 점이 향후 연구 과제로 남는다.