패치 순서를 이용한 이미지 복원 및 인페인팅

초록

이미지를 작은 겹치는 패치들로 분해한 뒤, 패치들을 고차원 공간에서 최단 경로(Traveling Salesman) 순서로 재배열한다. 이 순열을 픽셀에 적용하면 1차원 신호가 거의 매끄럽게 정렬되므로, 간단한 1D 필터링·보간만으로 잡음 제거와 결손 복구가 가능하다. 여러 무작위 순열을 평균하는 사이클‑스핀 기법과 서브이미지 평균화를 결합하면 최신 방법들과 경쟁하는 성능을 얻는다.

상세 분석

본 논문은 기존의 패치 기반 이미지 처리 흐름을 크게 단순화한다. 먼저 입력 이미지 Z 에서 겹치는 √n × √n 패치를 모두 추출하고, 각 패치를 Rⁿ 공간의 점으로 간주한다. 패치 간 거리 w(x_i,x_j) (주로 제곱 유클리드 거리)를 정의하고, 모든 패치를 한 번씩만 방문하는 최소 총 거리 경로를 찾는다. 이는 전형적인 Traveling Salesman Problem(TSP)이며, 정확히 풀면 계산량이 폭발하지만 저자들은 “무작위 시작 → 근접 이웃 선택(확률 p∝exp(−h·w))”이라는 휴리스틱을 사용한다. 탐색 범위를 B×B 정사각형 윈도우로 제한해 복잡도를 크게 낮추면서도 충분히 좋은 순서를 얻는다.

이 순서에 대응하는 순열 행렬 P 를 구성하면, 원본 이미지 y 에 P를 적용했을 때 y_p = P y 는 1차원 신호가 매끄럽게 변한다는 가정이 성립한다. 실제로 잡음이 있는 이미지 z 에 동일한 P를 적용하고, 1D 스무딩 연산 H (예: 저역통과 FIR 필터, 선형 보간)를 수행한 뒤 역순열 P⁻¹ 을 적용하면 복원된 이미지 ŷ 가 얻어진다.

핵심 아이디어는 “패치 간 유사성이 중심 픽셀 간 유사성으로 전달된다”는 가정이다. 따라서 잡음이 있더라도 패치 거리 측정은 어느 정도 강인하며, 잘못된 순열이 일부 포함되더라도 여러 무작위 순열 P_k 를 독립적으로 적용하고 평균하면 잡음이 상쇄된다. 이는 Cycle‑Spinning과 유사한 효과를 제공한다.

또한 저자는 단일 중심 픽셀 대신 각 패치의 모든 n 개의 서브이미지(패치 내부의 각 위치에 해당하는 이미지)를 별도로 재배열한다. 즉, R_j 연산자를 통해 z 에서 j‑번째 서브이미지를 추출하고, 동일한 P 를 적용해 z_{p,j}=P R_j z 를 만든 뒤 H 를 적용한다. 복원된 서브이미지들을 원위치에 삽입하고 겹치는 영역을 평균(D⁻¹)하면 전체 이미지가 완성된다. 이 과정은 서브이미지 수 n 과 순열 수 K 만큼 후보 해를 생성하므로, 평균화 효과가 크게 향상된다.

논문은 이 프레임워크를 두 가지 응용에 적용한다. 첫째, 잡음 제거(denoising)에서는 M=I 이므로 z=y+v 이며, H 로는 단순 1D 저역통과 필터와 가우시안 스무딩을 사용한다. 실험 결과는 K‑SVD 기반 방법과 비슷하거나 약간 우수한 PSNR을 보인다. 둘째, 인페인팅(inpainting)에서는 M 이 마스크 연산이며, 결손 픽셀을 0으로 초기화한 뒤 동일한 순열·스무딩 절차를 적용한다. 결과는 선형 보간 및 DCT 기반 스파스 복원보다 시각적으로 더 자연스럽다.

마지막으로 저자는 BM3D와의 연관성을 언급한다. BM3D는 각 패치를 유사 패치 그룹에 모아 2D 변환 후 1D 변환·역변환을 수행하는데, 본 논문의 순열 기반 접근도 패치를 일렬로 정렬하고 1D 처리만 수행한다는 점에서 구조적으로 유사하다. 차이점은 BM3D가 그룹 내 순서를 자유롭게 정하는 반면, 여기서는 전체 패치를 하나의 체인으로 정렬한다는 점이다. 또한 본 방법은 H 를 자유롭게 선택할 수 있어 다양한 응용에 확장 가능하다.

요약하면, 패치 순열을 통한 1D 신호 변환이라는 혁신적인 아이디어와, 다중 순열·서브이미지 평균화라는 실용적인 엔지니어링 기법을 결합해 복잡한 고차원 패치 처리 없이도 경쟁력 있는 복원 성능을 달성한다.