다중모달 검색증강 생성의 최적화: 당류생물학 질문응답 사례 연구

초록

본 연구는 시각 정보가 풍부한 당류생물학 분야에서 텍스트 변환 기반 RAG와 OCR‑free 시각 검색 기반 RAG의 성능을 비교한다. 25편 논문에서 추출한 120개의 객관식 질문을 난이도별로 구분하고, 네 가지 증강 전략(무증강, 텍스트 RAG, 다중모달 변환, 시각 검색)과 두 종류의 LLM(Gemma‑3‑27B‑IT, GPT‑4o) 및 최신 GPT‑5 계열 모델을 조합해 정확도를 평가하였다. 중형 모델에서는 텍스트 변환이 가장 안정적이며, 대형 모델에서는 시각 검색이 경쟁력을 갖는다. 특히 경량 시각 검색기인 ColFlor가 높은 정확도를 유지하면서 비용·지연을 최소화한다는 점을 확인했다.

상세 분석

이 논문은 다중모달 검색‑증강 생성(MM‑RAG) 파이프라인이 바이오메디컬 QA에 미치는 영향을 정량적으로 규명한다. 먼저 저자들은 당류생물학이라는 시각‑집중 분야를 선택했는데, 이는 복잡한 구조식, 경로도, 표가 핵심 정보를 담고 있어 전통적인 텍스트‑기반 RAG가 한계를 드러내기 쉽다. 이를 위해 25편 논문에서 120개의 객관식 질문을 수집하고, 정답이 텍스트에 직접 존재하는 ‘easy’, 표·그림에만 존재하는 ‘medium’, 텍스트와 시각 정보를 교차 통합해야 하는 ‘hard’ 세 단계로 난이도를 라벨링했다.

증강 전략은 네 가지로 정의되었다. ‘None’은 질문만 전달해 검색 없이 LLM이 자체적으로 답을 생성하도록 한다. ‘Text RAG’는 Docling을 이용해 PDF를 텍스트와 OCR로 추출하고, BGE‑base‑en‑v1.5 임베딩으로 전통적인 벡터 검색을 수행한다. ‘Multi‑modal conversion’은 동일 파싱 과정에 추가로 표·그림을 자동 요약(summarization)하여 텍스트 형태로 변환하고, 이를 동일 임베딩에 포함한다. 마지막 ‘Vision‑based retrieval’은 페이지 전체를 이미지로 처리하고, ColPali, ColQwen, ColFlor와 같은 late‑interaction 비전 검색기를 사용해 이미지 패치 임베딩을 생성한다.

실험 환경은 두 축으로 나뉜다. 첫 번째 축에서는 중형 오픈소스 모델 Gemma‑3‑27B‑IT와 최신 상용 모델 GPT‑4o를 대상으로 5회 반복(답변 순서 변형 포함) 테스트를 수행했다. 두 번째 축에서는 GPT‑5‑family(standard, mini, nano)와 세 종류의 비전 검색기를 조합해 추가 실험을 진행했다. 정확도는 Agresti‑Coull 95 % CI로 보고했으며, 통계적 유의성을 검증하기 위해 Bonferroni 보정된 paired Wilcoxon 검정을 적용했다.

주요 결과는 다음과 같다. Gemma‑3‑27B‑IT에서는 텍스트 변환과 다중모달 변환이 평균 0.722‑0.740의 정확도를 기록해 OCR‑free 시각 검색(0.510)보다 현저히 우수했다. 이는 중형 모델이 텍스트 기반 추론에 최적화돼 있어 시각 정보를 직접 해석하기엔 파라미터와 컨텍스트 한계가 있음을 시사한다. 반면 GPT‑4o에서는 다중모달 변환이 0.808, 텍스트 RAG가 0.782, 시각 검색(ColPali) 0.745로 차이가 미미했으며, 모델 규모가 커짐에 따라 시각 검색의 성능 격차가 축소되는 것을 확인했다.

GPT‑5‑family 실험에서는 ColPali와 ColFlor가 각각 0.828의 최고 정확도를 달성했으며, ColQwen과 통계적으로 차이가 없었다. 특히 ColFlor는 파라미터가 174 M에 불과함에도 불구하고 ColPali와 동등한 정확도를 유지하면서 인코딩 속도가 5‑10배 빨라 비용·지연 측면에서 효율적이었다. GPT‑5‑nano는 대형 변형 대비 8‑10 % 낮은 성능을 보였으며, 이는 모델 용량이 시각‑텍스트 통합 능력에 직접적인 영향을 미친다는 결론을 강화한다.

추가 분석에서는 retrieval precision@5, 비용·지연 메트릭을 제시했으며, 시각 검색이 높은 정확도를 제공하면서도 비용 대비 효율이 떨어지는 경우가 있음을 지적했다. 따라서 실무 적용 시에는 모델 규모와 인프라 제약을 고려해 텍스트 변환 파이프라인을 기본으로 두고, 대형 LLM이 확보된 환경에서는 경량 시각 검색기(ColFlor)를 선택하는 것이 최적의 전략으로 보인다.

이 연구는 바이오메디컬 분야에서 다중모달 RAG 설계 시 “모델 용량 ↔ 증강 방식” 트레이드오프를 명확히 제시하고, 향후 시각‑텍스트 통합 능력이 강화된 LLM이 등장함에 따라 OCR‑free 접근법이 점차 주류가 될 가능성을 시사한다.