자연어 기반 객체 검색 모델

초록

이 논문은 이미지 내에서 자연어 문장으로 지정된 객체를 정확히 찾아내는 “자연어 객체 검색(Natural Language Object Retrieval)” 문제를 정의하고, 후보 영역의 위치 정보와 전체 장면 컨텍스트를 동시에 활용하는 Spatial Context Recurrent ConvNet(SCRC) 모델을 제안한다. 사전 학습된 이미지 캡션 데이터로 초기화한 뒤, 제한된 객체‑텍스트 데이터에 미세조정하여 높은 검색 정확도를 달성한다.

상세 분석

본 연구는 기존 텍스트 기반 이미지 검색과 일반 객체 검출 사이의 격차를 메우기 위해, “문맥‑공간‑언어” 삼위일체를 하나의 엔드‑투‑엔드 네트워크로 통합한다는 점에서 혁신적이다. 핵심 구조인 SCRC는 세 개의 LSTM 유닛(LSTM language, LSTM local, LSTM global)을 사용해 각각 텍스트 시퀀스, 후보 영역의 로컬 피처와 공간 좌표, 전체 이미지의 글로벌 피처를 순차적으로 처리한다. 로컬 CNN은 VGG‑16 기반으로 후보 박스에서 1000‑차원 fc8 피처를 추출하고, 글로벌 CNN 역시 동일 아키텍처로 전체 이미지에서 컨텍스트 피처를 얻는다. 공간 좌표는 정규화된 8‑차원 벡터(