비디오 장소 인식을 위한 새로운 시점 합성의 체계적 평가

초록

본 연구는 생성형 AI를 이용해 합성한 새로운 시점의 이미지가 비디오 기반 장소 인식(VPR) 성능에 미치는 영향을 체계적으로 평가한다. 5개의 공개 VPR 데이터셋과 7가지 이미지 유사도 측정 방법을 사용한 실험 결과, 소량의 합성 뷰 추가는 VPR 성능을 개선시키지만, 대량 추가 시에는 시점 변화의 크기보다 추가된 뷰의 수와 데이터셋의 이미지 유형이 성능에 더 중요한 영향을 미치는 것으로 나타났다.

상세 분석

이 연구의 기술적 핵심은 단일 이미지로부터 새로운 시점을 합성하는 생성형 AI 모델 ‘GenWarp’을 VPR 파이프라인에 통합하고 그 효과를 정량적으로 평가한 데 있다. GenWarp은 기하학적 와핑과 생성형 합성을 결합한 확산 기반 모델로, 깊이 정보와 상대적 카메라 자세를 입력받아 원본 이미지의 의미론적 일관성을 유지하며 새로운 시점(방위각, 고도, 거리)을 생성한다.

평가 방법론은 표준 VPR 평가 프레임워크를 따르며, 합성 뷰를 질의 세트 또는 참조 세트에 주입한 후 AUC(Area Under the Curve) 지표를 기준 성능과 비교한다. 실험 변수는 주입하는 합성 뷰의 수(10, 50, 100)와 시점 변화의 크기(소, 중, 대)로 체계적으로 설계되었다.

주요 통찰은 다음과 같다:

1. 소량 주입의 이점: 모든 데이터셋에서 10개의 합성 뷰를 추가하면 대부분의 이미지 기술자(Descriptor)의 평균 AUC가 1-5% 정도 소폭 상승했다. 이는 합성 뷰가 원본 데이터의 다양성을 보완하여 매칭 성능을 약간 향상시킬 수 있음을 시사한다.
2. 주입 위치의 미미한 영향: 합성 뷰를 질의 세트에 추가하든 참조 세트에 추가하든 성능 변화 차이는 매우 작았다(1-3%). 이는 VPR 시스템이 양방향 시점 변화에 대해 비슷한 수준의 강건성을 보인다는 의미이다.
3. 대량 주입 시 변수 변화: 합성 뷰를 50개, 100개로 대량 추가할 경우, 시점 변화의 ‘크기’보다 ‘주입 수’와 ‘데이터셋 고유 특성’이 결과에 더 지배적인 영향을 미쳤다. 특히 Corridor와 같이 데이터 양이 적은 실내 데이터셋에서 대량 주입(90%)은 원본 데이터 분포를 크게 왜곡시켜 성능 하락을 초래할 수 있다.
4. 기술자별 민감도 차이: PatchNetVLAD, CosPlace, EigenPlaces 등 현대적인 VPR 기술자는 합성 데이터에 대해 상대적으로 강건한 성능을 보인 반면, 전통적인 AlexNet이나 SAD 기술자는 성능 변동이 더 컸다. 이는 합성 데이터 활용 시 모델 선택의 중요성을 강조한다.

이 평가는 생성형 뷰 합성이 내비게이션에 직접 적용되기 전에 필수적인 ‘유용성 검증’ 단계를 제공한다. 합성 뷰가 실제 보지 못한 시점과 충분히 유사해야 내비게이션에 활용 가능한데, VPR 평가를 통해 이 유사성의 임계값을 간접적으로 탐색한 것이다. 연구의 제한점은 GenWarp 단일 모델을 사용했으며, 합성 뷰의 품질이 VPR 성능에 미치는 영향을 분리하여 분석하지 못했다는 점이다. 향후 다양한 생성 모델 비교 및 합성 아티팩트가 매칭에 미치는 영향에 대한 분석이 필요할 것이다.