시각문서 검색과 QA를 위한 새로운 벤치마크 IRPAPERS

초록

IRPAPERS는 166편의 과학 논문에서 추출한 3,230페이지와 180개의 정밀 질문을 제공해, 이미지 기반과 텍스트 기반 검색·질문응답 시스템을 비교한다. 텍스트 검색이 약간 앞서지만, 두 모달리티는 상호 보완적이며 멀티모달 하이브리드 검색이 최고 성능을 보인다. 폐쇄형 모델인 Cohere Embed v4는 공개 모델을 크게 앞선다.

상세 분석

본 논문은 시각문서 처리 분야에서 텍스트와 이미지 두 가지 표현 방식의 실제 성능 차이를 정량화한다. 데이터셋 구축 단계에서 저자들은 ‘대형 언어 모델을 활용한 정보 검색’ 서베이 논문의 인용 목록을 기반으로 166편의 논문을 선정했고, 각 페이지를 이미지와 OCR 텍스트( GPT‑4.1 기반) 두 형태로 저장했다. 질문 180개는 ‘needle‑in‑the‑haystack’ 방식으로 설계돼, 특정 페이지를 정확히 찾아야만 정답을 도출할 수 있다.

검색 실험에서는 텍스트 기반으로 Arctic 2.0 dense 임베딩, BM25, 그리고 이들의 하이브리드 조합을 사용했으며, 이미지 기반으로는 다중 벡터 임베딩 모델인 ColModernVBER‑T, ColPali, ColQwen2 등을 적용했다. 결과는 Recall@1 기준 텍스트가 46%, 이미지가 43%로 근소한 차이를 보였지만, 이미지가 Recall@20에서 93%로 텍스트(91%)를 앞섰다. 특히 두 모달리티가 각각 성공하고 실패하는 쿼리가 서로 겹치지 않아, 점수 정규화 후 결합한 멀티모달 하이브리드 검색은 Recall@1 49%까지 끌어올렸다.

효율성 측면에서는 MUVERA 인코더의 ef 파라미터를 조절해 검색 속도와 정확도 사이의 트레이드오프를 분석했으며, ef=1024일 때 Recall@1이 41%로 소폭 감소했지만 인덱싱·검색 비용이 크게 절감되는 것을 확인했다.

폐쇄형 모델 비교에서는 Cohere Embed v4 이미지 임베딩이 Recall@1 58%로 가장 우수했으며, 이는 공개 모델 중 최고 성능을 보인 ColModernVBER‑T(≈49%)보다 9%p 높은 수치다. 텍스트 기반 Voyage 3 Large도 강력했지만 이미지 모델에 비해 뒤처졌다.

질문응답(RAG) 실험에서는 텍스트 입력 RAG가 정답 정렬 점수 0.82, 이미지 입력 RAG가 0.71을 기록했다. 검색 깊이를 k=5까지 늘리면 두 모달리티 모두 성능이 크게 향상됐으며, 다중 문서(5개) 검색이 단일 문서 오라클보다 더 높은 점수를 얻었다. 이는 과학 논문 답변이 하나의 페이지에 국한되지 않고, 여러 페이지의 보완적 증거를 필요로 함을 시사한다.

마지막으로 저자들은 이미지가 반드시 필요한 질문(도표, 수식, 구조적 레이아웃)과 텍스트만으로 충분한 질문을 구분했으며, 두 모달리티의 상호 보완성을 강조했다. 전체적으로 IRPAPERS는 시각문서 검색·QA 연구에 실용적인 평가 기준을 제공하고, 멀티모달 시스템 설계 시 텍스트와 이미지 모두를 활용하는 전략의 필요성을 입증한다.