변환 영역 희소성을 이용한 이미지 인페인팅

초록

본 논문은 이미지의 변환(주파수) 영역에서 대부분의 계수가 희소함을 이용해, 작은 진폭의 계수를 0으로 강제하고 얻은 희소 패턴을 부가 정보(사이드 인포메이션)로 활용한다. 수신 측에서는 이 사이드 정보를 이용하거나, 없을 경우 TV(Time‑Varying) 방법으로 추정한 뒤, 공간 도메인과 변환 도메인 두 개의 볼록 집합 사이를 교대로 투영(POCS)하여 손실된 영역을 복원한다. 실험 결과는 구조 이미지와 텍스처 이미지 모두에서 기존 방법보다 PSNR·시각적 품질이 우수함을 보여준다.

상세 분석

이 논문은 이미지 인페인팅을 위한 새로운 프레임워크를 제시한다. 핵심 아이디어는 “이미지는 변환 도메인(주로 DCT·FFT)에서 고도로 희소한다”는 사실을 활용하는 것이다. 저자는 먼저 원본 이미지에 대해 사전 정의된 임계값보다 작은 변환 계수를 0으로 만들고, 이때 발생하는 ‘희소 패턴(zeros 위치)’을 부가 정보로 저장한다. 이 과정은 원본 이미지에 일종의 레드던던시를 삽입하는 효과를 가지며, 사이드 인포메이션이 존재할 경우 복원 단계에서 강력한 제약조건으로 작용한다.

복원 단계는 두 개의 볼록 집합을 정의한다. 첫 번째 집합은 “희소 패턴을 만족하는 변환 계수 집합”이며, 이는 변환 연산 T와 희소 연산 S를 통해 정의된다(𝑃ₛ(𝑥)=𝑇⁻¹·S·𝑇(𝑥)). 두 번째 집합은 “손상되지 않은 픽셀을 그대로 유지하는 공간 도메인 집합”으로, 마스크 M을 이용해 𝑃ₘ(𝑥)=M⊙𝑥+(1−M)⊙𝑦 형태로 구현된다. 여기서 𝑦는 손상된 이미지, ⊙는 원소별 곱이다.

두 집합 사이를 교대로 투영하는 POCS 알고리즘은 각 반복마다 (1) 변환 도메인에서 희소 패턴을 강제하고, (2) 공간 도메인에서 알려진 픽셀을 복원한다. 이 과정은 볼록 집합의 교집합이 비어 있지 않을 경우 수렴을 보장한다. 논문에서는 POCS 반복 횟수를 500~1000회로 설정했으며, 이는 실험적으로 수렴 속도와 복원 품질 사이의 트레이드오프를 보여준다.

사이드 인포메이션이 없을 경우, 저자는 TV(Time‑Varying) 방법을 사용해 손상된 이미지를 먼저 복원하고, 이 복원된 이미지로부터 희소 패턴을 추정한다. TV는 비균일 샘플링된 신호를 저역통과 필터링(LPF)과 보간을 반복해 재구성하는 기법이며, 여기서는 초기 희소 패턴을 얻기 위한 전처리 단계로 활용된다. 추정된 패턴은 이후 POCS 단계에 그대로 투입된다.

실험에서는 DCT와 FFT 두 변환을 모두 시험했으며, 구조가 뚜렷한 Lena·Barbara와 텍스처가 풍부한 Baboon 이미지에 대해 90%~95% 수준의 희소성을 적용했다. 결과는 PSNR와 시각적 평가 모두에서 기존 PDE 기반, 전통적인 TV, 그리고 exemplar‑based 방법보다 우수했다. 특히, DCT 영역에서 95% 희소성을 적용했을 때 Lena 이미지의 PSNR가 원본 대비 31.5 dB, 희소 이미지 대비 63.5 dB에 도달했다. 또한, 사이드 인포메이션이 없을 때는 FFT 영역에서 약간 더 나은 복원 성능을 보였다.

알고리즘 복잡도 측면에서, POCS 자체는 FFT/DCT와 역변환을 매 반복마다 수행하므로 O(N log N) 수준이며, TV 전처리는 단순 저역통과와 보간으로 구현돼 비교적 가볍다. CPU 시간은 TV와 비슷하거나, 다른 고급 exemplar‑based 방법보다 0.01~0.1배 정도 빠른 것으로 보고된다.

이 논문의 주요 기여는 (1) 변환 도메인 희소성을 부가 정보로 활용한 새로운 인코딩·디코딩 구조, (2) 사이드 인포메이션이 없을 때 TV 기반 추정으로 이를 보완하는 실용적 흐름, (3) POCS를 통한 두 볼록 집합의 교차점 찾기로 손실 영역을 효과적으로 복원한다는 점이다. 다만, 높은 희소율이 이미지 블러를 초래할 수 있다는 트레이드오프와, 사이드 인포메이션 전송을 위한 별도 채널 필요성은 실제 적용 시 고려해야 할 제한점이다.