언어와 비전 융합으로 강화된 장소 인식 라벤더

초록

LaVPR은 기존 VPR 데이터셋에 65만 개 이상의 자연어 설명을 추가한 대규모 벤치마크이다. 언어‑비전 멀티모달 융합과 텍스트‑투‑이미지 교차 모달 검색 두 가지 패러다임을 평가하며, 특히 시각이 손상된 상황에서 언어가 작은 백본 모델의 성능을 크게 끌어올리는 것을 확인한다. 교차 모달 검색에서는 LoRA와 Multi‑Similarity 손실을 결합한 방법이 기존 대비 월등히 높은 정확도를 보인다.

상세 분석

LaVPR은 VPR 분야에서 가장 큰 규모의 언어‑비전 데이터셋으로, GSV‑Cities, Pitts30K, AmsterTime, MSLS 등 네 개 주요 데이터셋에 651,865개의 이미지‑텍스트 쌍을 정밀히 정제·첨가하였다. 텍스트는 Gemini 2.5 Flash를 활용해 건축적 특징과 공간 관계를 중심으로 생성하고, 자동 엔터티 추출·SAM 기반 영역 검증·Qwen2‑VL 검증을 거친 후 인간 검수를 통해 hallucination을 1 % 수준으로 억제하였다.

멀티모달 융합에서는 사전학습된 비전 인코더(Ev)와 텍스트 인코더(Et)를 고정하고, 네 가지 후처리 방식(Concat, Projection‑Addition, MLP, Adaptive Score Fusion)을 실험했다. 특히 Adaptive Score Fusion(ADS)는 각 모달별 유사도에 가중치를 학습해 결합함으로써, 기존 비전‑전용 모델 대비 R@1을 평균 0.4 %p 상승시켰다. 또한 Learned Language Pooling(LLP) 모듈을 도입해 텍스트 토큰 간 상호작용을 강화했으며, 이는 특히 작은 백본(ViT‑S)에서 대형 백본(Cr‑VPR)과 동등한 성능을 달성하게 했다.

교차 모달 검색(L→V)에서는 기존의 zero‑shot CLIP이나 단순 contrastive fine‑tuning이 장소 수준의 정밀도 확보에 한계가 있음을 확인했다. 저자는 LoRA를 이용해 비전‑언어 모델의 파라미터를 소수만 업데이트하고, Multi‑Similarity 손실을 적용해 양성·음성 쌍의 마진을 동적으로 조절하였다. 이 전략은 R@1을 6 %~12 %p 향상시키며, 특히 날씨·흐림 등 시각적 노이즈가 심한 서브셋에서 큰 효과를 보였다.

실험 결과는 두 패러다임 모두 언어가 “안정적인 고수준 의미 앵커” 역할을 함을 입증한다. 시각이 약화된 상황에서도 텍스트는 장소 고유의 구조적·시그니처 정보를 제공해 재검색 정확도를 유지한다. 또한, 언어를 활용하면 연산량이 적은 경량 모델도 대형 모델 수준의 성능을 달성할 수 있어, 실시간 로봇·드론 등 자원 제한 환경에 유리하다. 한계점으로는 텍스트 생성 과정에서 여전히 9 % 정도의 낮은 정밀도가 존재하고, 인간 검수 비용이 높다는 점이다. 향후 연구는 자동 검증 정확도 향상과, 다중 언어·다중 모달(예: 깊이, 라이다) 통합을 통한 종합적 장소 인식 프레임워크 구축을 제안한다.