세밀한 인스턴스 수준 스케치 기반 영상 검색

초록

본 논문은 손그림 시퀀스를 질의로 사용해 특정 영상 인스턴스를 찾아내는 ‘세밀한 인스턴스 수준 스케치 기반 영상 검색(FG‑SBVR)’ 문제를 정의하고, 528개의 피겨 스케이팅 영상과 1,448개의 다중 페이지 스케치를 포함한 최초의 데이터셋을 구축하였다. 외관과 움직임을 각각 담당하는 두 개의 스트림으로 구성된 멀티‑모달 딥 네트워크와, 데이터 부족에 대비한 관계 모듈을 제안한다. 강지도와 약지도(멀티‑인스턴스 학습) 두 환경에서 학습 가능하며, 기존 영상 분석 모델들을 크게 능가하는 성능을 보인다.

상세 분석

FG‑SBVR은 기존의 정적 스케치 기반 이미지 검색이나 카테고리 수준 영상 검색과 달리, “스케치 시퀀스 → 영상 인스턴스”라는 교차 모달 매핑을 요구한다. 여기서는 외관 디테일(스케이터의 포즈, 의상, 헤어스타일)과 동작 벡터(점프, 회전, 슬라이드) 두 축을 동시에 매칭해야 하므로, 모델 설계 시 시각적 특징과 시간적 흐름을 명확히 분리하고 각각을 효과적으로 정렬하는 구조가 필수적이다. 논문은 이를 위해 (1) Appearance 스트림과 Motion 스트림을 각각 영상과 스케치에 적용한 멀티‑스트림 아키텍처를 채택했으며, (2) 각 스트림 내에서 트리플렛 랭킹 손실을 이용해 양쪽 도메인의 임베딩을 공동 공간에 정렬한다. 특히 3D ConvNet이 동적·정적 정보를 혼합하는 전통적 접근과 달리, 두 스트림을 명시적으로 분리함으로써 스케치와 영상 사이의 모달 격차를 완화하고, 제한된 학습 데이터에서도 과적합을 방지한다.

데이터 부족 문제를 보완하기 도입된 관계 모듈(Relation Module)은 메타‑러닝에서 영감을 얻은 비선형 비교 네트워크이다. 이 모듈은 스케치‑영상 쌍을 입력받아 관계 점수를 출력함으로써, 단순 트리플렛 손실이 제공하는 음성‑양성 쌍 대비 더 풍부한 학습 신호를 제공한다. 결과적으로 모델은 적은 샘플에서도 일반화 능력을 유지한다.

학습 방식은 두 가지로 나뉜다. 강지도에서는 스케치 페이지와 영상 프레임 사이의 정확한 매핑 정보를 활용해 페이지‑프레임 정렬을 명시적으로 학습한다. 약지도에서는 이러한 정렬 정보를 제공하지 않고, 하나의 영상 클립을 여러 스케치 페이지가 포함된 ‘bag’으로 취급해 멀티‑인스턴스 학습(MIL) 프레임워크를 적용한다. 실험 결과, 약지도에서도 관계 모듈과 멀티‑스트림 설계가 강력한 성능을 유지함을 확인했다.

데이터셋 측면에서, 저자들은 피겨 스케이팅이라는 특수 도메인을 선택해 528개의 고화질(720p/1080p) 영상 클립과 1,448개의 SVG 형식 스케치를 수집했다. 각 스케치는 ‘스케이터’와 ‘동작 벡터’ 두 파트로 구분되며, 평균 2.7 페이지(최대 9 페이지)로 구성된다. 스케치당 평균 102개의 스트로크가 기록돼 기존 TU‑Berlin, Sketchy 등 공개 스케치 데이터셋보다 훨씬 풍부한 디테일을 제공한다. 또한 1,384개의 스케치에 동작 벡터가 포함돼 정적·동적 정보를 동시에 학습할 수 있다.

성능 평가에서는 I3D, C3D, 3D‑ResNet 등 최신 3D ConvNet 기반 영상 인코더와, 기존 FG‑SBIR 모델들을 베이스라인으로 사용했다. 제안 모델은 평균 정밀도(mAP)와 Top‑K 정확도에서 모두 10‑15%p 이상의 향상을 기록했으며, 특히 약지도 상황에서 관계 모듈이 없는 경우 대비 8%p 이상의 성능 차이를 보였다. 이는 멀티‑스트림 구조와 비선형 관계 학습이 데이터 스카시(scarcity) 환경에서도 효과적임을 입증한다.

전반적으로 이 논문은 (1) 새로운 교차 모달 검색 과제 정의, (2) 실용적인 대규모 인스턴스‑레벨 스케치‑영상 데이터셋 제공, (3) 외관·동작을 명시적으로 분리하고 관계 모듈로 일반화를 강화한 딥 네트워크 설계, (4) 강·약 지도 두 환경에서의 학습 가능성을 입증한 점에서 의미가 크다. 향후 연구는 다른 도메인(스포츠, 일상 행동)으로 확장하거나, 텍스트·음성 등 추가 모달을 결합한 멀티‑모달 검색 시스템 구축으로 이어질 수 있다.