다중모달 문서 검색을 위한 계층형 구성요소 그래프와 늦은 상호작용 기반 서브그래프 검색

초록

LILaC은 멀티모달 문서를 두 단계(거친·세밀) 그래프로 표현하고, 초기 거친 노드 후보를 만든 뒤 세밀 노드와의 늦은 상호작용을 통해 서브그래프를 효율적으로 탐색한다. 이를 통해 불필요한 내용의 방해를 최소화하고, 문서·컴포넌트 간 다중 홉 추론을 가능하게 하여 5개 벤치마크에서 추가 파인튜닝 없이 최첨단 성능을 달성한다.

상세 분석

LILaC은 멀티모달 문서 검색에서 두 가지 핵심 문제, 즉 고정된 단일 granularity로 인한 불필요한 내용 포함과 다중 홉 추론의 부재를 동시에 해결한다. 첫 번째로 제안된 “계층형 구성요소 그래프”는 coarse‑grained 레이어와 fine‑grained 레이어를 명시적으로 구분한다. coarse 레이어에서는 문단, 전체 테이블, 전체 이미지가 각각 하나의 노드로 표현되어 전역적인 문맥 파악과 후보 생성에 효율적이다. 반면 fine 레이어에서는 문단을 문장 단위로, 테이블을 헤더와 데이터 행의 쌍으로, 이미지를 객체 검출 결과(시각 객체)로 분해한다. 이러한 이중‑granularity 설계는 (1) 검색 단위가 지나치게 넓어 쿼리와 무관한 정보를 포함하는 문제를 완화하고, (2) 세밀한 단위까지 내려가면 정확한 의미 매칭이 가능하도록 만든다.

두 번째 핵심 기법은 “늦은 상호작용 기반 서브그래프 검색”이다. 전통적인 V‑isRAG 방식은 전체 스크린샷을 독립적인 벡터로 임베딩하고 최근접 이웃 검색만 수행해, 노드 간 연결 관계를 전혀 활용하지 못한다. LILaC은 먼저 쿼리를 의미론적으로 분해하고, 각 서브쿼리에 대해 modality classifier를 적용해 텍스트, 테이블, 이미지 중 어느 유형에 해당하는지 판단한다. 그런 다음 coarse 레이어에서 초기 후보 노드를 선택하고, beam search 방식으로 인접 edge를 순차적으로 확장한다. 여기서 edge 점수는 fine 레이어의 서브노드 임베딩과 서브쿼리 임베딩 사이의 “late interaction”—즉, 사전 계산된 dense vector를 그대로 사용하지 않고, 필요 시점에 dot‑product 혹은 cross‑attention 형태로 계산—을 통해 얻는다. 이 접근법은 (i) 모든 가능한 edge를 미리 평가하지 않아도 되므로 연산량을 크게 줄이고, (ii) fine‑grained 정보가 직접 점수에 반영돼 정밀한 매칭이 가능하도록 만든다.

실험에서는 LILaC이 기존 TextRAG, VisRAG, ColPali 등 최신 멀티모달 검색 모델을 능가한다. 특히 파인튜닝 없이 사전 학습된 멀티모달 언어‑비전 모델(MMEmbed, UniME 등)만을 활용했음에도 불구하고, 5개 공개 벤치마크(예: MMQA, PDF‑Retrieval 등)에서 평균 Recall@10이 8~12%p 상승했다. 이는 그래프 구조가 문서 내부·외부의 하이퍼링크와 같은 네비게이션 관계를 자연스럽게 포착하고, granularity 조절이 검색 효율과 정확성을 동시에 개선했기 때문이다. 또한, LILaC은 edge‑wise late interaction을 통해 메모리 사용량을 제한된 GPU 환경에서도 실시간 검색이 가능하도록 설계했다.

한계점으로는 (1) 그래프 구축 단계에서 텍스트 파싱·테이블 구조 추출·이미지 객체 검출 등 전처리 파이프라인이 필요해 초기 비용이 발생한다는 점, (2) 현재는 정적인 문서 컬렉션에 초점을 맞추었으며, 실시간 스트리밍 문서나 동적 업데이트에 대한 효율적 처리 메커니즘은 추가 연구가 필요하다는 점을 들 수 있다. 그럼에도 불구하고, LILaC은 멀티모달 문서 검색 분야에서 granularity와 구조적 관계를 동시에 활용한 최초의 프레임워크로서, 향후 오픈‑도메인 검색 시스템에 중요한 설계 패러다임을 제시한다.