복잡한 장면을 위한 고속 비디오 인페인팅

본 논문은 복잡한 장면을 대상으로 하는 자동 비디오 인페인팅 알고리즘을 제안한다. 기존 연구는 이미지 인페인팅에 비해 비디오 분야가 상대적으로 뒤처져 있었으며, 특히 시간 차원으로 인한 연산 복잡도가 큰 장애물로 작용했다. 저자들은 이러한 문제를 해결하기 위해 전역적인 비국소 패치 기반 프레임워크를 채택하고, 이를 효율적으로 최적화하는 방법을 설계하였다. 먼저, 영상은 3차원(공간‑시간) 볼륨 Ω 로 정의되고, 결손 영역 H 와 알려진 영역 D 로 구분된다. 각 픽셀 p∈Ω에 대해 주변 패치 Wp 를 정의하고, 결손 픽셀에 대해 가장 유사한 패치를 찾는 시프트 맵 φ(p)를 도입한다. 최적화 목표는 에너지 함수 E(u,φ)=∑_{p∈H} d²(Wp, W_{p+φ(p)}) 를 최소화하는 것으로, 여기서 d²는 패치 간 색상 차이와 텍스처 피처 차이를 모두 포함한다. 알고리즘은 두 단계의 반복으로 구성된다. 첫 번째 단계는 현재 영상 u와 시프트 맵 φ에 대해 각 결손 패치의 최근접 이웃을 찾는 ANN 검색이다. 기존 k‑d 트리 기반 방법은 속도가 느려 실용적이지 않으므로, 저자들은 PatchMatch 알고리즘을 시공간 차원으로 확장하였다. 초기화 단계에서는 결손 영역 주변에 무작위 시프트를 할당하고, 이후 전파(Propagation)와 무작위 탐색(Random Search) 과정을 통해 시프트 맵을 빠르게 개선한다. 전파 단계에서는 인접 픽셀들의 시프트를 활용해 후보 시프트를 전파하고, 무작위 탐색 단계에서는 점진적으로 탐색 반경을 감소시키며 새로운 후보를 탐색한다. 두 번째 단계는 시프트 맵 φ에 기반해 결손 픽셀의 색상을 재구성하는 재구성 단계이다. 각 결손 픽셀 p에 대해 φ(p) 로 지정된 후보 패치의 색상 값을 가중 평균하여 새로운 색상을 할당한다. 이 과정은 멀티레졸루션 피라미드 구조 안에서 수행되며, 저해상도 레벨에서 전역 구조를 잡고 고해상도 레벨에서 세부 디테일을 복원한다. 동적 텍스처와 움직이는 배경을 처리하기 위해 저자들은 두 가지 추가 기법을 도입한다. 첫째, 패치 거리 함수에 텍스처 피처(예: Gabor 필터, LBP 등)를 포함시켜 동적인 영상 패턴을 정확히 매칭한다. 둘째, 배경의 전역적인 움직임을 어파인 변환으로 모델링하고, 이를 시프트 맵에 보정함으로써 카메라 이동이나 배경 자체의 변형을 자연스럽게 보정한다. 이러한 접근은 객체 기반 방법이 필요로 하는 전경/배경 분할 없이도 복잡한 장면을 처리할 수 있게 한다. 실험에서는 다양한 HD 비디오(1920×1080)와 복잡한 시나리오(다중 이동 객체, 동적 물결, 카메라 흔들림 등)를 대상으로 기존 최첨단 방법들과 비교하였다. 결과는 다음과 같다. (1) 실행 시간: 제안 알고리즘은 기존 방법 대비 평균 10배 이상 빠르며, 일부 경우는 실시간에 근접한다. (2) 시각적 품질: 동적 텍스처와 복잡한 움직임을 포함한 장면에서 기존 방법이 남기는 흔적이나 왜곡을 최소화하고, 자연스러운 결과를 제공한다. (3) 사용자 입력: 마스크 정의 외에 별도의 매뉴얼 트래킹이나 전경/배경 분할이 필요 없으며, 구현 코드를 공개함으로써 재현성을 확보하였다. 논문의 주요 기여는 다음과 같다. - 시공간 PatchMatch 기반 ANN 검색을 도입해 비디오 인페인팅의 시간 복잡도를 크게 낮춤. - 텍스처 피처를 포함한 패치 거리 함수를 설계해 동적 텍스처 복원을 가능하게 함. - 어파인 변환을 이용한 움직이는 배경 보정 기법을 제시. - 초기화와 멀티레졸루션 스킴에 대한 구체적인 구현 세부 정보를 제공, 실무 적용성을 높임. 결론적으로, 이 연구는 전역 최적화와 효율적인 근사 검색을 결합한 새로운 비디오 인페인팅 패러다임을 제시한다. 고해상도 영상에서도 실시간에 가까운 속도로 복잡한 장면을 자동으로 복원할 수 있어, 영화 후처리, 증강 현실, 영상 복원 등 다양한 분야에 활용 가능성이 크다.