비국소 텐서 완성을 이용한 다시계 원격탐사 이미지 인페인팅

본 논문은 다시계 원격탐사 이미지에서 구름, 센서 고장 등으로 발생하는 결손 영역을 복원하기 위한 새로운 비국소 저‑랭크 텐서 완성(NL‑LRTC) 방법을 제시한다. 기존의 결손 복원 기술은 공간, 스펙트럼, 시간 중 하나의 도메인에만 의존하거나 두 가지 도메인만을 결합한 하이브리드 방식에 머물렀다. 이러한 접근법은 복잡한 자연 현상에서 발생하는 다차원 상관관계를 충분히 활용하지 못한다는 한계가 있다. NL‑LRTC는 먼저 관측된 4차원 텐서 Y∈ℝ^{m×n×b×t}를 재배열하여 3차원 텐서 Ŷ∈ℝ^{m×tn×b}로 변환한다. 여기서 m·n은 이미지의 공간 해상도, b는 스펙트럼 밴드 수, t는 시간 단계 수이다. 재배열 과정은 동일 위치의 픽셀을 시간 순서대로 인접하게 배치함으로써, 이후 패치 검색 시 시간적 유사성을 자연스럽게 포함한다. 다음 단계에서는 w×w×b 크기의 3차원 패치를 목표 패치로 설정하고, 반경 r의 탐색 창 안에서 정규화 상관계수(NCC)를 유사도 지표로 사용해 유사 패치를 찾는다. 유사도 임계값 γ₂ 이하인 경우를 유사 패치로 인정하고, 이러한 패치를 n개 모아 4차원 텐서 Ŷ_G∈ℝ^{w×w×b×n}를 만든다. 네 번째 차원은 “패치 유사도”를 나타내며, 이는 비국소(Non‑local) 특성을 구현한다. 핵심 복원 단계에서는 4차원 텐서 Ŷ_G에 대해 각 모드(공간‑가로, 공간‑세로, 스펙트럼, 패치)별 n‑rank를 동시에 최소화하는 저‑랭크 모델을 적용한다. 기존 텐서 핵심(norm) 기반 방법은 모든 특이값을 동일하게 축소해 중요한 구조를 손상시킬 위험이 있다. 이를 극복하기 위해 논문은 비선형 서브시디얼(예: Schatten‑p norm, p<1) 방식을 도입한다. 이 방식은 큰 특이값을 덜 억제하고 작은 특이값을 강하게 억제함으로써 데이터의 주성분을 보존한다. 최적화는 ADMM(Alternating Direction Method of Multipliers) 프레임워크를 사용한다. 각 모드별 unfold 행렬에 대해 특이값 임계화(soft‑thresholding)를 수행하고, 라그랑주 승수를 교번 업데이트한다. 이 과정은 수렴성이 보장되며, 병렬 처리에 적합해 연산 효율성을 높인다. 실험에서는 시뮬레이션 결손(인위적 마스크)과 실제 구름·스트립 노이즈가 포함된 Landsat‑8, MODIS 데이터를 사용하였다. 정량적 평가지표인 PSNR, SSIM, RMSE에서 NL‑LRTC는 기존의 PM‑MTGSR, ALM‑IPG, 그리고 최근 제안된 저‑랭크 행렬 기반 방법보다 평균 1.2 dB~2.0 dB 높은 PSNR와 0.02~0.04 높은 SSIM을 기록했다. 특히 시간 간격이 큰 경우(예: 6개월 간격)에도 안정적인 복원을 보여, 시간적 비연속성에 강인함을 입증하였다. 정성적으로는 복원된 이미지가 경계와 텍스처를 잘 보존하며, 구름 잔여물이나 스트립 아티팩트가 최소화되었다. 연산 시간 측면에서도 NL‑LRTC는 패치 기반 방법 중 가장 빠른 편에 속한다. 동일한 하드웨어 환경에서 PM‑MTGSR 대비 약 4배, ALM‑IPG 대비 3배 정도의 속도 향상을 보였다. 이는 3차원 재배열 후 패치 검색이 행렬 형태보다 효율적이며, ADMM 기반 최적화가 GPU 가속에 적합하기 때문이다. 논문의 한계로는 패치 크기 w와 탐색 반경 r에 대한 민감도 분석이 충분히 이루어지지 않았으며, 매우 큰 결손 영역(전체 이미지의 50 % 이상)에서는 성능이 다소 저하될 수 있다는 점이 있다. 또한, 현재는 정규화 상관계수만을 유사도 지표로 사용하고 있어, 복합적인 텍스처나 색상 변화를 반영하는 보다 정교한 거리 함수가 필요할 수 있다. 향후 연구 방향으로는 (1) 자동 파라미터 선택 메커니즘(예: 베이지안 최적화) 도입, (2) 딥러닝 기반 사전학습 모델과 NL‑LRTC를 결합한 하이브리드 프레임워크, (3) 초대규모 위성 데이터(예: Sentinel‑2, PlanetScope)에서의 실시간 적용을 위한 분산 컴퓨팅 구현 등을 제시한다. 결론적으로, NL‑LRTC는 공간·스펙트럼·시간 3차원을 동시에 활용하는 비국소 저‑랭크 텐서 완성 기법으로, 기존 방법 대비 정량·정성 성능 및 계산 효율성에서 모두 우수함을 입증하였다. 이는 다시계 원격탐사 이미지의 결손 복원뿐 아니라, 클라우드 제거, 스트립 아티팩트 보정 등 다양한 전처리 작업에 적용 가능함을 시사한다.