계층적 총변동(TV) 기반 디지털 이미지 인페인팅 기법

초록

본 논문은 사용자가 지정한 결함 영역을 다중 해상도 계층으로 축소한 뒤, 각 단계에서 총변동(TV) 모델을 적용해 점진적으로 복원하는 알고리즘을 제안한다. 기존 TV 인페인팅이 작은 결함에는 효과적이지만 넓은 영역에서는 품질 저하가 발생하는 문제를 해결하고자, 피라미드 구조를 도입해 저해상도에서 거친 형태를 복원한 뒤 고해상도로 세밀히 보정한다. 실험 결과, 최근의 최근접 이웃 보간, 블러링 기반 인페인팅, Sobolev 인페인팅 등에 비해 PSNR·SSIM이 크게 향상되었으며, 시각적으로도 경계와 텍스처가 자연스럽게 유지되는 것을 확인하였다.

상세 요약

이 논문은 이미지 인페인팅 문제를 두 가지 핵심 아이디어로 접근한다. 첫 번째는 총변동(Total Variation, TV) 정규화를 이용한 복원 모델이다. TV는 이미지의 급격한 변화(에지)를 보존하면서도 잡음을 억제하는 특성이 있어, 손상된 영역 주변의 구조적 정보를 효과적으로 전파한다. 그러나 전통적인 TV 인페인팅은 손실 영역이 넓어질수록 전역적인 라플라시안 흐름에 의존하게 되어, 복원된 텍스처가 과도하게 평탄해지는 현상이 발생한다. 두 번째 아이디어는 계층적(멀티스케일) 접근법이다. 원본 이미지를 가우시안 피라미드 형태로 여러 레벨로 다운샘플링하고, 가장 낮은 해상도 레벨에서 TV 기반 인페인팅을 수행한다. 저해상도에서는 큰 구조만을 복원하면 되므로, 전역적인 흐름이 자연스럽게 형성된다. 이후 각 레벨을 순차적으로 업샘플링하면서 이전 단계에서 얻은 복원 결과를 초기값으로 사용해 고해상도 레벨에서 다시 TV 최적화를 수행한다. 이 과정은 손실 영역을 점진적으로 세밀화하면서 에지와 텍스처를 보강한다.

알고리즘 흐름은 다음과 같다. (1) 사용자 입력에 의해 마스크가 정의되고, (2) 입력 이미지를 L개의 스케일로 피라미드화한다. (3) 최하위 스케일에서 TV 에너지 E(u)=∫|∇u|dx 와 데이터 일치 항 ∫Ω_mask (u−f)²dx 을 최소화한다. 여기서 f는 원본 이미지, u는 복원 이미지이며, 마스크 외부는 고정한다. (4) 최적화된 저해상도 결과를 양선형 보간으로 다음 스케일에 삽입하고, 동일한 TV 최적화 과정을 반복한다. (5) 최종 고해상도 레벨에서 얻어진 이미지가 최종 복원 결과가 된다.

실험에서는 표준 테스트 이미지(‘Lena’, ‘Barbara’, ‘Cameraman’)에 다양한 크기의 마스크(작은 구멍부터 30% 면적까지)를 적용하였다. 성능 평가는 PSNR, SSIM 및 시각적 주관 평가로 이루어졌으며, 제안 방법은 기존 최근접 이웃 보간, 블러링 기반 인페인팅, Sobolev 인페인팅에 비해 평균 PSNR 2.5 dB, SSIM 0.07 정도 향상되었다. 특히 큰 결함 영역에서는 경계가 부드럽게 이어지면서도 원본 텍스처와 유사한 고주파 성분을 유지하는 것이 눈에 띈다.

한계점으로는 피라미드 레벨 수와 TV 정규화 파라미터(λ)의 선택이 결과에 민감하다는 점이다. 파라미터 튜닝이 자동화되지 않으면 사용자 개입이 필요하며, 매우 복잡한 구조(예: 자연 풍경)의 경우 저해상도 단계에서 중요한 세부 정보가 손실될 위험이 있다. 또한, TV 모델 자체가 스무딩 편향을 가지고 있어, 매우 정교한 텍스처(예: 잔디, 모래) 복원에는 추가적인 고주파 보강 기법이 필요할 수 있다. 향후 연구에서는 비선형 TV(예: TVⁿ)나 딥러닝 기반 사전 학습 모델을 계층적 프레임워크에 결합해 파라미터 자동 조정 및 텍스처 재생성을 강화하는 방향이 기대된다.