멀티도메인 대화형 QA를 위한 RAG 기법 전면 비교

초록

본 논문은 8개의 서로 다른 도메인 대화형 QA 데이터셋을 대상으로, 기본 RAG부터 최신 고급 RAG 기법까지 총 7가지 방법을 동일한 실험 환경에서 비교한다. 회수 품질과 생성 품질을 각각 재현성 있는 메트릭으로 평가하고, 대화 턴이 진행될수록 성능 변화를 분석한다. 결과는 재정렬(Reranking), 하이브리드 BM25, HyDE와 같은 비교적 단순하고 견고한 기법이 대부분의 경우 최고 성능을 보이며, 일부 복잡한 최신 기법은 오히려 No‑RAG 기준보다 낮은 성능을 보인다는 점을 강조한다. 데이터셋 특성(문맥 길이, 도메인 다양성)과 대화 길이가 RAG 성능에 큰 영향을 미치며, “복잡함보다 데이터와 전략의 정합성”이 핵심이라는 결론을 도출한다.

상세 분석

이 연구는 멀티턴 대화형 QA에서 RAG(검색‑증강 생성)의 실제 효용을 체계적으로 검증한 최초 사례 중 하나이다. 먼저 No‑RAG와 Oracle‑Context라는 두 극단을 설정해 LLM 자체 지식과 완벽한 검색이 제공될 때의 상한선을 명확히 구분한다. 그런 다음 기본 RAG(임베딩 기반 Top‑k), 전통적 BM25, 하이브리드 BM25, 그리고 교차 인코더 기반 Reranker를 ‘기본’ 라인업으로 두고, HyDE(가상 답변 생성 후 재검색), Query Rewriting, Summarization, SumContext, HyDE‑Reranker 등 6가지 ‘고급’ 기법을 추가한다.

데이터셋은 ChatRAG‑Bench에서 추출한 8개 서브셋(SQA, QuAC, CoQA, DoQA, Doc2Dial, QReCC, TopicQA, INSCIT)으로, 각각 위키피디아, 스택오버플로우, 사회복지 등 다양한 도메인과 대화 구조(D1‑D3)를 포함한다. 평균 질문 길이는 712 토큰이지만, 문맥 길이는 100500 토큰으로 크게 차이 나며, 이는 검색·정렬 단계에서 잡음 비율에 직접적인 영향을 미친다.

실험 결과는 크게 두 가지 흐름을 보인다. 첫째, 하이브리드 BM25와 Reranker는 밀도 기반 임베딩만을 이용한 기본 RAG보다 일관되게 높은 Recall@k와 F1을 기록한다. 이는 단어‑레벨 매칭과 의미‑레벨 매칭을 결합했을 때, 특히 대화 중에 등장하는 고유명사·약어·코어퍼런스가 정확히 매핑되는 효과가 크기 때문이다. 둘째, HyDE와 HyDE‑Reranker는 질문 자체가 불완전하거나 맥락이 부족할 때 가상 답변을 생성해 이를 재검색 쿼리로 활용함으로써, 특히 QReCC와 TopicQA처럼 질문 재작성(rewriting)이 이미 적용된 데이터에서 눈에 띄는 성능 향상을 보인다. 그러나 동일한 기법을 CoQA와 SQA와 같은 짧은 문맥·짧은 대화 턴이 주된 데이터에 적용하면, 오히려 잡음이 증가해 No‑RAG보다 낮은 점수를 기록한다.

또한 대화 턴별 분석에서는 초기 턴(1‑2)에서는 대부분의 기법이 비슷한 수준의 회수 품질을 보이지만, 턴이 진행될수록 문맥 누적과 코어퍼런스 복잡도가 급증하면서 성능 격차가 확대된다. 특히 Reranker와 HyDE‑Reranker는 후반부(5턴 이상)에서 다른 방법보다 상대적으로 안정적인 F1을 유지한다. 반면 Summarization 기반 방법은 문맥을 압축하면서 중요한 정보가 손실돼 후반부 성능이 급격히 떨어진다.

전체적으로 “복잡한 모델이 반드시 좋은 결과를 낳는 것은 아니다”는 교훈을 제공한다. 데이터셋별 특성(문맥‑질문 비율, 도메인 전문성, 대화 길이)을 사전에 분석하고, 그에 맞는 검색 전략(예: 하이브리드 BM25 + Rerank)과 간단한 사전·후처리(HyDE) 조합을 선택하는 것이 현재 LLM(예: Llama‑3‑8B‑Instruct) 기반 시스템에서 가장 실용적이다.