SPD 매니폴드 기반 무학습 시각 장소 인식 두 번째 차수 기하 통계

초록

**
본 논문은 사전 학습된 백본을 고정한 채, 이미지의 지역 특징을 공분산 행렬로 변환하고 이를 SPD 매니폴드 상에서 Riemannian 변환을 적용해 유클리드 공간에 임베딩함으로써 학습 없이도 강인한 전역 디스크립터를 생성한다. 2차 통계의 Congruence 특성을 이용해 조명·시점 변화에 대한 내성을 확보하고, Newton‑Schulz 반복을 통한 효율적인 제곱근 계산과 PEM 거리 측정으로 실시간 검색이 가능함을 보인다. 실험 결과, 제로샷 설정에서 최첨단 방법들을 능가한다.

**

상세 분석

**
이 연구는 VPR(Visual Place Recognition) 문제를 두 단계(백본 Φ와 집계 헤드 Ψ)로 전형화한 뒤, 기존의 1차 통계(평균) 기반 집계가 조명·시점 변환에 취약함을 이론적으로 증명한다. 대신, 지역 특징들을 N × D_in 행렬 X_raw 로 추출하고, 고정된 무작위 직교 행렬 P를 통해 D_in → d 차원으로 투사한다. 이렇게 차원 축소된 X는 N × d 형태이며, 평균 (\bar{x}) 를 빼고 샘플 공분산 C_raw = (\frac{1}{N-1}\sum_i (x_i-\bar{x})(x_i-\bar{x})^\top) 를 계산한다. 공분산은 자연스럽게 SPD 매니폴드 (S_d^{++})에 위치하게 되며, 이는 곱셈 변환(예: 카메라 시점 변화) 하에서도 구조적 일관성을 유지하는 Congruence Property를 갖는다.

노이즈와 차원 과다 문제를 해결하기 위해 저자들은 ReCov(정규화된 하드 스레시홀드) 연산 (R_\tau(\cdot)) 를 도입한다. 대각 원소와 절댓값이 τ > 0 를 초과하는 비대각 원소만을 보존하고, 나머지는 0으로 만든다. 이 과정에서 양정정성(positive‑definiteness)이 손상될 수 있으므로, 작은 정규화 상수 ε를 곱한 항등 행렬을 더해 최종 SPD 행렬 C = C_rec + εI_d 를 얻는다.

SPD 행렬을 직접 비교하기 위해서는 리만 거리(로그‑맵, 역로그‑맵) 계산이 필요하지만, 이는 O(d³) 복잡도와 GPU 불안정성을 초래한다. 저자들은 Power Euclidean Metric(PEM) (d_{PEM}(C_1,C_2)=\frac{1}{\alpha}|C_1^{\alpha}-C_2^{\alpha}|F) (α = 0.5) 를 채택해 매니폴드 곡률을 제곱근 변환으로 평탄화한다. 제곱근 행렬을 효율히 구하기 위해 Newton‑Schulz 반복을 사용한다. 먼저 (A_0 = C / |C|F) 로 정규화하고, Y₀ = A₀, Z₀ = I_d 로 초기화한 뒤
(Y_k = \frac{1}{2}Y{k-1}(3I_d - Z{k-1}Y_{k-1}))
(Z_k = \frac{1}{2}(3I_d - Z_{k-1}Y_{k-1})Z_{k-1})
를 K = 5~10 회 반복한다. Y_K 가 (A_0^{1/2}) 를 근사하고, 원래 스케일을 복원하기 위해 (|C|_F^{1/2}) 를 곱한다.

마지막으로, 매니폴드 상의 대칭 행렬을 벡터화하기 위해 오프‑대각 원소를 (\sqrt{2}) 로 스케일링하는 isometric vectorization을 적용한다. 이렇게 얻어진 (\frac{d(d+1)}{2}) 차원 벡터는 L2 정규화 후 기존 유클리드 기반 인덱싱(FAISS 등)과 바로 호환된다.

핵심 기여는 (1) 2차 통계가 조명·시점 변환에 대해 내재적 불변성을 제공한다는 이론적 증명, (2) 파라미터 없이도 공분산을 SPD 매니폴드에 매핑하고, PEM·Newton‑Schulz를 통해 효율적으로 선형화하는 RIA(Riemannian Invariant Aggregation) 연산자 설계, (3) 다양한 공개 VPR 벤치마크(Nordland, Oxford RobotCar, Pittsburgh 등)에서 제로샷 상황에서도 SOTA 방법들을 능가하는 실험적 검증이다. 특히, 학습이 필요 없는 특성 덕분에 도메인 간 일반화가 뛰어나며, 연산 비용도 기존 VLAD/GeM 대비 크게 증가하지 않는다.

**