가우시안 제약 LeJEPA 기반 무감독 장면 탐색 및 자세 일관성 강화

초록

본 논문은 이미지 매칭 챌린지 2025(IMC2025)에서 요구되는 다중 장면 이미지 컬렉션의 무감독 3D 재구성을 위해, LeJEPA에서 제안된 등방성 가우시안 제약을 이미지 임베딩에 적용한 세 가지 파이프라인을 제시한다. 가우시안 제약 임베딩이 클러스터링 일관성과 자세 추정 견고성을 향상시킴을 실험적으로 입증하고, 기존 휴리스틱 기반 방법 대비 더 나은 일반화 능력을 보인다.

상세 분석

본 연구는 최근 이론적 자기지도 학습 프레임워크인 LeJEPA(Le et al., 2025)의 핵심 아이디어인 “SIGReg”(Sliced Isotropic Gaussian Regularization)를 실제 구조‑From‑Motion 파이프라인에 적용함으로써, 기존의 특징 매칭·기하학 검증 기반 SfM과 대비되는 새로운 접근을 시도한다. 논문은 크게 세 단계의 파이프라인을 설계했으며, 최종 단계인 LeJEPA‑Enhanced 솔루션이 가장 핵심적인 기여를 담당한다.

첫 번째 파이프라인은 전통적인 SIFT‑기반 특징 추출, FLANN 매칭, DBSCAN 클러스터링, 그리고 원형 궤도 히어리스틱을 이용한 자세 생성으로, 점수 최적화를 위해 클러스터 크기와 아웃라이어 비율을 직접 조정한다. 이는 베이스라인 성능을 확보하기 위한 “공학적 최적화” 단계라 할 수 있다.

두 번째 파이프라인은 특징 전처리를 정규화된 SIFT와 양방향 필터링으로 강화하고, 매칭 전략을 FLANN과 브루트포스의 혼합으로 확장한다. 클러스터링 파라미터를 데이터‑드리븐 방식으로 추정하고, 장면 유형(평면, 선형, 객체 중심)을 사전 추정해 자세 생성에 반영한다. 이는 “일반화된 강인성”을 목표로 하며, 특정 데이터셋에 과적합되지 않도록 설계되었다.

세 번째 파이프라인은 LeJEPA의 이론적 근거를 직접 구현한다. 입력 이미지 x에 대해 백본 네트워크를 통과시킨 뒤, 임베딩 z를 정규화하고 차원별 스케일링(√embedding_dim)으로 스케일을 맞춘다. 이후 SIGReg을 적용해 임베딩이 등방성 가우시안 분포를 따르도록 제약한다. 구체적으로는 클러스터 내 임베딩 평균 μ와 공분산 Σ를 계산하고, λ_max(Σ)/λ_min(Σ) < 10 및 ‖μ‖ < 1.0이라는 조건을 만족하는지 검증한다. 이러한 가우시안 제약은 두 가지 주요 효과를 만든다. 첫째, 임베딩 공간이 구형(구면) 형태를 유지함으로써 코사인 유사도와 가우시안 코사인 유사도(s_ij = ½·(1 + (z_i^T z_j)/(‖z_i‖‖z_j‖)))가 확률적 해석을 갖게 된다. 둘째, 특성 함수 매칭(ϕ_i(t)=E