도메인 특화 검색 강화와 자동 데이터 생성 프레임워크 DRAGON

초록

**
DRAGON은 도메인‑특화 문서 집합을 대상으로 자동으로 질의·답변·클루 데이터를 생성하고, 이를 활용해 밀집 검색기를 학습시켜 RAG 시스템의 전반적인 정확도를 높이는 프레임워크이다. 8개 분야의 4가지 도메인에 걸친 DRAGONBench 벤치마크를 제시하고, 단일·다중 홉 질의와 답변 가능성·클루 완전성을 다양하게 조절한 대규모 합성 데이터를 제공한다. 실험 결과, 합성 데이터로 사전 학습된 검색기는 기존 공개 데이터 기반 검색기 대비 모든 도메인에서 크게 성능이 향상되며, vanilla, planning‑based, iterative RAG 파이프라인에 통합했을 때도 일관된 엔드‑투‑엔드 개선을 보인다.

**

상세 분석

**
DRAGON은 “데이터‑구성 모델링”과 “대규모 합성 파이프라인”을 결합한 두 단계 접근법을 채택한다. 첫 단계에서는 도메인 문서를 청크 단위로 분할하고, 청크 내에서 엔티티와 관계를 추출해 엔티티‑중심 그래프를 구축한다. 이 그래프는 단일 홉 질의뿐 아니라 다중 홉 질의를 생성하기 위한 연결 고리(클루) 역할을 한다. 두 번째 단계에서는 추출된 클루를 LLM에 입력해 기본 질문을 생성하고, 논리적·완전성 재구성 규칙을 적용해 질문의 복잡도와 클루 완전성을 다양화한다. 논리적 재구성에는 시간 확장, 비교 추가, 메트릭 분할, 다단계 질문, 이유 설명 등이 포함되며, 완전성 재구성에는 동의어 교체, 순서 역전, 의미 모호성 도입, 관점 전환, 조건 추가 등이 사용된다. 이렇게 생성된 질문‑답변‑클루 삼중항은 (문서 집합 D, 질문 Q, 클루 C, 정답 A, 매핑 M) 형태의 구조화된 데이터 G를 형성한다. 매핑 M은 정답‑클루(M₁)와 클루‑문서(M₂) 관계를 명시함으로써, 특정 질문에 필요한 문서와 문장 집합을 정확히 추출할 수 있게 한다.

DRAGONBench는 8개의 도메인‑특화 코퍼스를 기반으로 4개의 분야(게임 위키, 약학·의료, 소프트웨어·마이크로일렉트로닉스, 교육·연구)에서 각각 다중 홉(1~3 hop) 질의를 포함한다. 각 질문마다 답변 가능성(가능/불가능)과 클루 완전성(전부, 부분, 누락) 레이블을 부여하고, 문장 수준 인용 정보를 제공한다. 평가 지표로는 기존 LLM‑as‑a‑Judge 방식의 불안정성을 보완한 “Criteria‑Based Score Generation (CSG)”를 도입했으며, 이는 사전 정의된 채점 기준에 따라 자동 채점의 일관성을 크게 향상시킨다.

실험에서는 MT‑eb 리더보드에서 선정된 6개의 최신 밀집 검색기(33M611M 파라미터, 컨텍스트 5128192 토큰)를 대상으로 DRAGON 합성 데이터를 추가 학습시켰다. 대비 실험으로는 (1) 일반 위키 기반 사전 학습, (2) 도메인‑특화 실제 문서만 사용, (3) DRAGON 합성 데이터 포함 학습을 비교했다. 결과는 특히 논리적 복잡도가 높은 다중 홉 질문에서 평균 12.4%~18.7%의 Recall@10 향상을 보였으며, 단일 홉 질문에서도 5% 이상 개선되었다. 흥미롭게도 Zelda 위키에서 학습된 검색기는 다른 세 도메인(Stanford, UC Berkeley, Cyotek, Notion)에서도 일관된 성능 상승을 보여, 합성 데이터가 도메인 간 일반화 능력을 강화함을 입증했다.

RAG 파이프라인에 적용한 결과는 다음과 같다. vanilla RAG에서는 정답 정확도가 3.2%p 상승했으며, planning‑based RAG에서는 서브‑쿼리 생성 단계에서 필요한 문서 회수가 평균 1.8개 감소했다. iterative RAG에서는 LLM이 “충분히 검색했다”는 판단을 내리는 시점이 평균 1.3 라운드 앞당겨, 전체 추론 비용이 약 14% 절감되었다. 이러한 개선은 모두 DRAGON‑강화 검색기가 제공하는 더 정확하고 풍부한 문서 집합 덕분에 가능했다.

한계점으로는 현재 엔티티 그래프 구축이 도메인‑특화 NER 모델에 크게 의존한다는 점과, 합성 데이터 생성 비용이 대규모 코퍼스에서는 여전히 GPU·LLM 호출 비용이 높다는 점을 들 수 있다. 향후 연구에서는 (1) 저비용 프롬프트 튜닝을 통한 엔티티 추출 경량화, (2) 클루‑문서 매핑의 자동 검증 메커니즘, (3) 생성된 데이터의 품질을 인간 평가와 연계한 지속적 피드백 루프 구축을 제안한다. 전반적으로 DRAGON은 도메인‑특화 RAG 시스템 구축에 필요한 데이터 병목을 효과적으로 해소하고, 검색기와 생성기의 공동 최적화를 가능하게 하는 중요한 발판을 제공한다.

**