Affine Motion을 위한 향상된 초해상도 관측 모델

초록

본 논문은 비등거리(affine) 움직임을 갖는 영상 시퀀스에 특화된 새로운 관측 모델을 제안한다. 기존 초해상도(SR) 방법이 주로 등거리 변환에만 최적화된 반면, 제안 모델은 affine 변환을 연속적인 전단(shear) 변환으로 분해하여 행·열 단위 1‑D 변환으로 효율적으로 구현한다. 합성 및 실제 데이터 실험에서 가변 스케일 움직임에 대해 기존 모델보다 우수한 복원 품질을 보이며, 등거리 경우에는 동등한 성능을 유지한다.

상세 분석

초해상도 복원은 저해상도 프레임들의 미세한 위치 이동을 활용해 고해상도 이미지를 재구성하는 기술이다. 전통적인 SR 관측 모델은 주로 평행 이동이나 회전 등 등거리(isometric) 변환을 전제로 설계되었으며, 이러한 가정은 항공·위성 영상처럼 스케일이 변하는 affine motion을 포함하는 경우에 큰 한계를 드러낸다. 논문은 먼저 기존 모델들이 affine 변환을 어떻게 근사하거나 무시하는지를 체계적으로 분석하고, 특히 Elad‑Feuer 모델이 2‑D 보간을 통해 변환을 처리하지만 고해상도 격자에 대한 정확한 샘플링을 보장하지 못한다는 점을 지적한다.

제안된 관측 모델은 affine 변환을 두 개의 전단(shear) 변환과 하나의 스케일 변환으로 분해한다는 수학적 사실에 기반한다. 전단 변환은 행 또는 열 방향으로만 수행되는 1‑D affine 변환이므로, 기존의 1‑D 보간 알고리즘을 그대로 적용할 수 있다. 이 방식은 연산 복잡도를 O(N) 수준으로 유지하면서도 변환 정확도를 크게 향상시킨다. 구체적으로, 입력 저해상도 프레임을 먼저 행 방향 전단으로 변환한 뒤, 열 방향 전단을 적용하고, 마지막으로 스케일 보정을 수행한다. 각 단계에서 사용되는 보간 커널은 Lanczos 또는 cubic spline 등 고정밀 커널을 선택할 수 있어, 경계 효과와 aliasing을 최소화한다.

알고리즘 구현 측면에서는 행·열 순차 처리 덕분에 메모리 접근 패턴이 연속적이며, GPU와 같은 병렬 하드웨어에 최적화하기 용이하다. 또한, 변환 파라미터가 프레임마다 달라지는 경우에도 각 프레임에 대해 독립적으로 전단 매트릭스를 계산하므로, 동적 장면에서도 실시간에 가까운 처리 속도를 기대할 수 있다.

실험에서는 합성 데이터에서 스케일 변동이 ±20% 범위인 경우 PSNR이 평균 1.2 dB, SSIM이 0.03 향상되었으며, 실제 항공 영상에서는 경계선이 더 선명해지고 텍스처 복원이 눈에 띄게 개선되었다. 등거리 상황에서는 기존 Elad‑Feuer 모델과 거의 동일한 성능을 보이며, 제안 모델이 추가적인 오버헤드를 거의 발생시키지 않음을 확인하였다.

이러한 결과는 affine motion을 정확히 모델링함으로써 SR 복원의 근본적인 한계를 극복할 수 있음을 시사한다. 특히, 스케일 변동이 큰 원격 탐사 영상, 의료 영상의 확대·축소 시퀀스, 그리고 드론 촬영 등 다양한 응용 분야에 바로 적용 가능하다. 향후 연구에서는 비선형 변형(예: 투시 변환)이나 다중 카메라 배열에 대한 확장, 그리고 딥러닝 기반 SR 프레임워크와의 하이브리드 통합을 모색할 수 있다.