반복적 RAG가 이상적인 증거를 능가한다: 과학적 다중홉 QA 진단 연구

초록

본 연구는 화학 분야 다중홉 질문응답 데이터셋 ChemKGMultiHopQA에서 11개 최신 LLM을 대상으로 ‘무 컨텍스트’, ‘골드 컨텍스트(이상적 증거)’, ‘반복적 RAG’ 세 가지 조건을 비교한다. 반복적 RAG는 검색‑추론‑검색을 순환하며, 정적 골드 컨텍스트보다 최대 25.6%p 높은 정확도를 기록한다. 주요 원인은 단계별 검색이 후속 홉 실패를 줄이고, 컨텍스트 과부하를 완화하며, 초기 가설 편향을 동적으로 교정하기 때문이다. 그러나 최종 홉 커버리지 부족, 산출물 조합 실패, 불필요한 방해 정보에 대한 착오, 조기 종료 오판 등 남은 한계도 확인한다.

상세 분석

이 논문은 과학적 다중홉 QA에서 반복적 Retrieval‑Augmented Generation(RAG)이 정적 골드 컨텍스트(Oracle evidence)를 능가할 수 있음을 메커니즘 수준에서 입증한다. 실험은 화학 전용 데이터셋 ChemKGMultiHopQA를 사용했으며, 질문당 1~4개의 홉을 포함하고, 각 홉마다 관련 문헌·데이터베이스·위키피디아 등 이질적인 근거를 요구한다. 11개의 LLM(비추론 파인튜닝 모델, 추론 전용 모델, 오픈소스 대형 모델 등)을 세 가지 설정으로 평가했다. (i) No Context: 파라메트릭 메모리만 사용, (ii) Gold Context: 모든 정답 근거를 한 번에 제공, (iii) Iterative RAG: 훈련 없이 설계된 컨트롤러가 “검색 → 가설 정제 → 증거 기반 중단”을 반복한다.

주요 진단 지표는 검색 커버리지 격차(Retrieval Coverage Gaps), 앵커 전파 손실(Anchor Carry Drop), 쿼리 품질(Query Quality), 구성 충실도(Composition Fidelity), 컨트롤 캘리브레이션(Control Calibration) 등이다. 결과는 대부분의 모델에서 Iterative RAG가 Gold Context보다 평균 12~25%p 높은 정확도를 보였으며, 특히 비추론 파인튜닝 모델이 가장 큰 폭의 향상을 기록했다. 단계별 검색은 후속 홉에서 필요한 증거를 정확히 끌어오면서, 초기 가설이 잘못될 경우 이를 즉시 수정할 수 있는 “동적 교정” 메커니즘을 제공한다. 이는 정적 증거가 길어질수록 발생하는 컨텍스트 오버로드와, 증거와 모델의 추론 흐름이 불일치하는 문제를 자연스럽게 완화한다.

하지만 한계도 명확히 드러났다. 최종 홉에서 필요한 문서를 놓치는 커버리지 격차가 여전히 존재했고, 완벽한 검색이 이루어져도 여러 증거를 조합해 최종 답을 도출하는 과정에서 높은 오류율(Composition Failure)이 관찰되었다. 또한, 불필요한 방해 정보에 착오해 “Distractor Latch” 현상이 발생하고, 컨트롤러가 언제 멈춰야 할지 판단하는 조기 종료 기준이 과소·과대 평가되는 경우가 있었다. 이러한 실패 모드는 모델 아키텍처와 사전 학습 데이터에 따라 차이가 있었으며, 특히 최신 대형 모델은 비용 효율성을 위해 반복 루프를 일찍 포기하는 경향을 보였다.

전반적으로 논문은 “더 많은 이상적 증거”가 반드시 성능을 보장하지 않으며, 검색과 추론을 시점에 맞게 동기화하는 과정이 핵심임을 강조한다. 또한, 절차 준수율(Procedural Compliance Rate, PCR)을 도입해 모델이 정해진 반복 프로토콜을 얼마나 잘 따르는지도 측정함으로써 실무 적용 시 신뢰성 평가 기준을 제공한다.