질문에 맞는 지식원 선택 규칙 기반 라우팅으로 하이브리드 RAG 최적화

초록

본 논문은 관계형 데이터베이스와 비정형 문서라는 두 종류의 외부 지식원을 결합한 Retrieval‑Augmented Generation(RAG) 시스템에서, 질문마다 가장 적합한 증거원을 자동으로 선택하는 규칙 기반 라우팅 프레임워크를 제안한다. 라우팅 에이전트, 규칙 생성 전문가 에이전트, 그리고 경로 메타‑캐시의 세 구성요소를 통해 정확도와 비용을 동시에 향상시킨다. 세 개의 QA 벤치마크 실험에서 정적 전략 및 기존 학습 기반 라우터보다 일관된 성능 개선을 입증한다.

상세 분석

본 연구는 LLM 기반 QA 시스템이 도메인 특화 정보에 취약하다는 점을 출발점으로 삼아, 외부 지식원으로서 비정형 문서와 관계형 데이터베이스를 동시에 활용하는 하이브리드 RAG 구조를 설계한다. 초기 실험에서는 두 지식원이 질문 유형에 따라 상보적인 역할을 수행한다는 사실을 확인했으며, 데이터베이스는 수치·사실 중심 질문에, 문서는 서술·설명형 질문에 강점을 보였다. 그러나 두 증거를 무조건 병합하는 ‘naïve hybrid’ 방식은 토큰 수 급증과 불필요한 잡음으로 인해 정확도가 오히려 감소하는 현상을 보였다. 따라서 질문마다 최적의 증거원을 선택하는 라우팅 메커니즘이 필요함을 논증한다.

제안된 라우팅 프레임워크는 크게 세 부분으로 구성된다. 첫 번째는 Rule‑Driven Routing Agent로, 사전에 정의된 규칙 집합을 기반으로 후보 경로(DB, Doc, Hybrid)의 점수를 산출하고 가장 높은 점수를 받은 경로를 선택한다. 규칙은 질문 길이, 키워드 유형(예: “average salary”, “how many”), 기대되는 답변 형식(수치, 서술) 등 명시적 특성을 활용한다. 두 번째는 Rule‑Making Expert Agent이며, 라우팅 결과와 실제 QA 피드백(정답 여부, 비용)을 입력받아 규칙을 자동으로 수정·보강한다. 이 과정은 LLM 기반 프롬프트 엔지니어링을 통해 수행되며, 규칙이 과도하게 복잡해지지 않도록 규칙 수와 복잡도에 페널티를 부여한다. 세 번째는 Path‑Level Meta‑Cache로, 의미적으로 유사한 질문에 대해 이전 라우팅 결정을 재사용함으로써 추론 지연과 비용을 크게 절감한다. 캐시 키는 질문 임베딩을 클러스터링한 후, 클러스터 내 가장 빈번히 선택된 경로를 저장한다.

실험에서는 TATQA, FinQA, 그리고 의료 도메인 QA 데이터셋을 대상으로 세 가지 라우팅 전략(정적 DB‑Only, Doc‑Only, Hybrid‑All)과 기존 학습 기반 라우터(분류기, LLM‑Prompt 라우터)를 비교하였다. 제안 프레임워크는 평균 F1 점수에서 3~5%p 상승을 기록했으며, 토큰 사용량은 Hybrid‑All 대비 30% 이상 감소했다. 특히 규칙 전문가 에이전트가 주기적으로 규칙을 업데이트함에 따라, 새로운 질문 유형이 등장해도 라우팅 성능이 급격히 저하되지 않는 적응성을 보였다.

한계점으로는 규칙 설계 초기 단계에서 도메인 전문가의 인사이트가 필요하고, 복잡한 다중‑조인 SQL 쿼리를 요구하는 질문에 대해서는 현재 텍스트‑to‑SQL 모듈의 성능에 의존한다는 점을 들 수 있다. 또한 메타‑캐시의 효율성은 질문 임베딩의 품질에 크게 좌우되므로, 임베딩 모델 선택이 전체 시스템 성능에 중요한 변수로 작용한다. 향후 연구에서는 자동 규칙 생성 범위를 확대하고, 캐시 업데이트 전략을 강화하여 실시간 데이터베이스 변동에도 견고한 라우팅을 구현하고자 한다.