변환형 그라스만 최적화 기반 강인 이미지 정렬

본 논문은 최근 대규모 이미지·비디오 데이터베이스가 급증함에 따라, 데이터의 품질·정렬이 보장되지 않는 상황에서 효율적인 이미지 정렬 및 배경‑전경 분리를 위한 새로운 알고리즘 t‑GRASTA(Transformed Grassmannian Robust Adaptive Subspace Tracking Algorithm)를 제안한다. 1️⃣ 서론에서는 대규모 사진·영상 업로드 현황을 언급하며, Robust PCA가 저‑랭크 배경과 희소 전경을 분리하는 데 효과적이지만, 카메라 진동 등 변환이 존재하면 저‑랭크 가정이 깨진다는 문제점을 제시한다. 기존 방법인 RASL은 변환을 포함한 비선형 최적화를 반복적으로 선형화해 풀지만, 연산량이 크고 메모리 요구가 높아 대규모 데이터에 부적합하다. 또한 ORIA는 온라인 정렬을 목표로 하지만 초기 서브스페이스가 필요하고, GRASTA는 변환을 고려하지 않아 진동 영상에서 실패한다. 2️⃣ 모델링에서는 이미지 집합 D∈ℝⁿˣᴺ을 변환 τ와 함께 저‑랭크 서브스페이스 U∈G(d,n)와 희소 오류 E로 분해한다. 구체적으로 D∘τ = U W + E 형태이며, U는 Grassmannian 위의 정규 직교 행렬, W는 좌표 행렬, τ는 회전·이동·스케일 등 변환 파라미터이다. 변환이 비선형이므로 현재 τᵏ를 기준으로 Jacobian Jᵏ를 이용해 D∘(τᵏ+Δτ)≈D∘τᵏ+JᵏΔτ 로 1차 선형화한다. 3️⃣ 배치 모드에서는 전체 이미지에 대해 다음 최적화 문제를 푼다.  min_{U,W,E,Δτ} ‖E‖₁ s.t. D∘τᵏ+JᵏΔτ = U W + E, U∈G(d,n) 이때 U는 고정된 상태에서 ℓ₁‑노름 최소화를 ADMM으로 해결한다. ADMM은 w, e, Δτ, 라그랑주 승수 λ를 교대로 업데이트하며, 소프트‑쓰레시딩 연산 S₁_μ를 통해 희소성을 강제한다. 4️⃣ 서브스페이스 업데이트는 ADMM으로 얻은 (w*, e*, Δτ*, λ*)를 이용해 손실 함수 L의 미분 dL/dU = (λ*+μ h) w*ᵀ 를 구하고, Grassmannian 위의 투영 (I−UUᵀ)·dL/dU 로 기울기 O_L을 만든다. O_L은 1‑랭크 행렬이므로 SVD가 간단히 계산되고, 기하학적 단계 η를 적용해 U를 다음과 같이 갱신한다.  U(η) = U + (cos(ησ)−1) U w* w*ᵀ − sin(ησ) Γ w*ᵀ 여기서 σ=‖Γ‖·‖w*‖, Γ는 λ*+μ h. 이 과정은 GROUSE·GRASTA와 동일한 구조이며, 매 반복마다 저‑랭크 서브스페이스가 점진적으로 정렬된 이미지에 맞춰 진화한다. 5️⃣ 온라인 모드에서는 프레임별로 들어오는 이미지 I_t에 대해 변환 τ_t와 서브스페이스를 동시에 추정한다. 저‑랭크 구조가 시간에 따라 변할 수 있음을 고려해, 단일 서브스페이스 대신 L개의 서브스페이스 {U^ℓ}를 사용해 비선형 매니폴드를 근사한다. 각 프레임에 대해 가장 적합한 U^ℓ를 선택하고, 위와 동일한 ADMM‑GRASTA 절차를 적용한다. 이렇게 하면 카메라 진동, 줌 인/아웃 등 복합 변환에도 실시간으로 적응 가능하다. 6️⃣ 실험에서는 (a) 얼굴 이미지 데이터셋(Extended Yale B)에서 기존 RASL 대비 4배 빠른 정렬 속도와 50 % 메모리 절감, (b) 시뮬레이션 진동 비디오에서 GRASTA가 배경‑전경을 구분하지 못하는 반면 t‑GRASTA는 정확히 배경을 저‑랭크로 복원하고 전경을 희소 성분으로 분리함을 보였다. 정량적 평가에서는 정렬 오류 ‖D∘τ̂ − Â‖_F가 기존 방법보다 현저히 낮았으며, 실시간 처리 프레임률도 30 fps 이상을 유지했다. 7️⃣ 결론에서는 t‑GRASTA가 변환 파라미터와 서브스페이스를 공동 최적화함으로써 대규모 이미지·비디오 정렬 문제를 효율적으로 해결한다는 점을 강조한다. 향후 연구로는 더 복잡한 비선형 변환(예: 비강체 변형) 및 딥러닝 기반 특징 추출과의 결합, 그리고 분산 구현을 통한 초대규모 클라우드 환경 적용을 제시한다.