RAG‑E 검색기와 생성기 정렬 및 실패 모드 정량화

초록

RAG‑E는 검색‑증강 생성 파이프라인에서 검색기와 생성기의 상호작용을 정량적으로 설명하는 프레임워크이다. 통합 기울기(Integrated Gradients)를 검색기에 적용하고, Monte Carlo 안정화 Shapley 근사(P M C SHAP)를 생성기에 적용해 토큰 수준 기여도를 추정한다. 또한 Rank‑Biased Overlap 기반 가중 정렬 격차(WARG) 지표를 도입해 두 모델의 순위 일치 정도를 측정한다. TREC CAsT와 FoodSafeSum 실험에서 47 %‑67 %의 질의에 대해 생성기가 상위 검색 결과를 무시하거나 낮은 순위 문서에 과도히 의존하는 ‘낭비된 검색’·‘노이즈 방해’ 두 가지 주요 실패 모드를 발견했다.

상세 분석

본 논문은 Retrieval‑Augmented Generation(RAG) 시스템의 투명성을 확보하기 위해 두 단계, 즉 검색기와 생성기 각각에 맞는 귀납적 설명 기법을 결합한 RAG‑E 프레임워크를 제안한다. 검색기 측면에서는 토큰 임베딩을 입력으로 하는 Integrated Gradients(IG)를 변형해, 쿼리와 각 후보 문서에 대한 기울기 누적을 통해 개별 토큰이 점수 s_ret에 미치는 기여도를 정량화한다. 특히, 비특수 토큰을 모델의