시각 모델 검증을 통한 그래프 기반 이미지 검색 혁신

초록

본 논문은 자연어 질의를 그래프 형태의 명세로 변환하고, 이를 신경망 기반 코드 생성기로 시각 루틴으로 전환한 뒤, 각 이미지에 대해 형식적 검증을 수행해 질의 만족도를 정량화한다. 부분 검증 점수를 이용해 이미지 순위를 재조정함으로써 기존 임베딩 기반 검색의 한계를 보완하고, 복합 관계·카운팅·텍스트 인식 등 어려운 쿼리에 대해 높은 정확도를 달성한다.

상세 분석

이 연구는 이미지 검색에 형식 검증(formal verification) 개념을 도입한 점이 가장 큰 특징이다. 먼저 사용자는 자유로운 자연어 질의를 입력하고, 시스템은 이를 “시스템 파서” P(q)=φ 로 변환해 주어‑목‑목(subject‑predicate‑object) 삼중항 그래프(논리 트리플)로 표현한다. 이 그래프는 이미지에 대한 구체적 조건을 명시하는 명세(specification) 역할을 한다. 논문은 이러한 명세를 “시각 루틴”(visual routine)이라 부르는 실행 가능한 프로그램으로 변환하는 “합성 모델”(synthesizer) M을 제안한다. M은 대규모 언어 모델(예: Microsoft Phi‑4)을 활용해 사전 정의된 API(객체 탐지, OCR, 관계 추출 등)를 조합한 파이썬 코드 조각을 자동 생성한다. 각 루틴 π_i는 해당 트리플을 검증하는 불리언 함수이며, 이미지 v에 적용했을 때 true/false 를 반환한다.

핵심 아이디어는 모든 π_i가 true일 경우 이미지가 질의를 완전 만족한다는 형식적 증명을 제공하고, 일부만 true일 경우 부분 만족 점수를 산출한다는 점이다. 이를 “Truth Score”라 부르며, 만족 트리플 비율( #VerifiedTriplets / #TotalTriplets ) 로 정의한다. 이 점수는 기존 임베딩 기반 검색 결과와 곱해 재순위(Re‑RankScore_i = (K‑i) × 비율) 를 계산함으로써 기존 모델의 정밀도를 보강한다.

논문은 상태 폭발(state‑explosion) 문제를 인지하고, 각 트리플을 독립적인 루틴으로 처리함으로써 전역 논리 검증을 로컬 검증의 집합으로 근사한다. 이는 전통적인 모델 체킹에서 “global truth = conjunction of local truths” 원리를 차용한 것으로, 복합 관계가 많아질수록 루틴 수가 급증하는 위험을 완화한다.

실험은 MS‑COCO 캡션 데이터셋을 Easy/Hard 두 서브셋으로 나누어 수행한다. Easy는 CLIP이 높은 Recall을 보이는 상위 25% 샘플, Hard는 하위 25% 샘플을 의미한다. 제안 방법은 특히 Hard 셋에서 기존 CLIP, SigLIP 등 최신 임베딩 모델 대비 눈에 띄는 개선을 보였으며, 특히 텍스트 인식, 객체 카운팅, 복합 관계 추론 등에서 강점을 나타냈다. 정량적 결과는 Recall@1,5,10 모두 경쟁 모델과 동등하거나 상회했으며, 특히 Hard 셋에서 Recall@1이 0.283→0.391(ALIGN 결합) 등 크게 상승했다.

기술적 한계로는 (1) 트리플 수가 많아질 경우 루틴 생성·실행 비용이 급증할 수 있다는 점, (2) 현재는 사전 정의된 API에 크게 의존하므로 새로운 시각 개념을 즉시 지원하기 어렵다는 점, (3) LLM 기반 코드 생성의 오류 가능성(잘못된 API 호출, 파라미터 오류 등)이다. 논문은 이러한 문제를 “시각 루틴 재사용”과 “모듈형 API 확장”으로 완화하려고 제안한다.

전체적으로 이 논문은 이미지 검색에 형식적 검증을 도입함으로써 “신뢰성”과 “투명성”을 크게 향상시켰으며, 기존 임베딩 기반 접근법과의 하이브리드 설계가 실용적인 성능 향상을 입증한다. 향후 연구는 보다 효율적인 루틴 관리, 자동 API 확장, 그리고 대규모 멀티모달 모델과의 통합을 통해 확장성을 높이는 방향으로 진행될 것으로 기대된다.