LLM 기반 질의 증강 프롬프트와 강화학습의 재평가와 새로운 하이브리드 접근

초록

본 논문은 대형 언어 모델(LLM)을 활용한 질의 증강 방법을 두 갈래, 즉 프롬프트 기반 제로샷 확장과 강화학습(RL) 기반 재작성으로 구분하고, 동일한 실험 환경에서 체계적으로 비교한다. 실험 결과, 강력한 LLM을 사용한 단순 프롬프트 방식이 비용 대비 성능 면에서 RL 기반 방법과 동등하거나 우수함을 확인하였다. 이를 바탕으로 제안된 하이브리드 기법인 On‑policy Pseudo‑document Query Expansion(OPQE)는 프롬프트의 생성 유연성과 RL의 목표 최적화를 결합해 모든 벤치마크에서 최고 성능을 달성한다.

상세 분석

논문은 먼저 질의 증강을 두 축으로 나눈다. 첫 번째는 LLM에 질문을 그대로 입력해 답변 혹은 가상 문서(pseudo‑document)를 생성하고, 이를 원 질의와 결합해 검색 엔진에 전달하는 프롬프트 기반 접근이다. 이 방법은 모델의 파라미터 지식에 의존하며 추가 학습이 필요 없다는 장점이 있다. 두 번째는 강화학습, 특히 온‑policy PPO를 이용해 LLM 자체를 질의 재작성 정책으로 학습시키는 방식이다. 여기서는 검색 결과에서 얻은 Recall@K, NDCG 등 실제 검색 성능을 보상으로 사용해 정책을 직접 최적화한다. 기존 연구들은 각각의 장점을 강조했지만, 동일한 데이터셋·검색기·평가 지표 하에서의 직접 비교는 부족했다.

실험 설계는 두 접근을 공정하게 비교하기 위해 동일한 베이스라인 LLM(예: 3B, 7B 규모)과 동일한 검색 엔진(BM25와 여러 dense retriever) 및 동일한 코퍼스·질의 집합을 사용했다. 프롬프트 기반 방법은 SPQE(Simple Pseudo‑document Query Expansion)라는 제로샷 프롬프트를 정의했으며, RL 기반 방법은 DeepRetrieval 논문의 설정을 그대로 재현했다. 비용 측면에서는 프롬프트 방식이 추론 시점에만 GPU를 사용해 비용이 낮고, RL 방식은 수십만 번의 rollout과 PPO 업데이트가 필요해 학습 비용이 크게 증가한다.

핵심 결과는 다음과 같다. (1) 강력한 LLM을 이용한 SPQE는 대부분의 벤치마크에서 DeepRetrieval의 RL 정책보다 높은 Recall@10과 NDCG를 기록했다. 특히 BM25와 같은 sparse retriever에서는 토큰 수준의 확장이 직접적인 매칭을 늘려 성능 향상이 두드러졌다. (2) RL 기반 정책은 특정 상황, 예를 들어 dense retriever와 결합했을 때 약간의 개선을 보였지만, 보상 설계에 민감하고 학습 불안정성이 존재했다. (3) RL의 효과는 작업 유형에 따라 크게 달라졌으며, evidence‑seeking(예: NQ, TriviaQA)보다는 ad‑hoc(예: FEVER, HotpotQA)에서 더 일관되게 나타났다.

이러한 관찰을 바탕으로 저자들은 “On‑policy Pseudo‑document Query Expansion(OPQE)”라는 새로운 하이브리드 방식을 제안한다. OPQE는 기존 RL 정책이 직접 질의를 생성하는 대신, pseudo‑document를 생성하도록 학습한다. 즉, 정책 πθ는 “질의 → 가상 문서” 흐름을 학습하고, 생성된 가상 문서는 원 질의와 결합돼 검색기에 입력된다. 보상은 여전히 검색 성능 기반이지만, 가상 문서 생성이라는 더 풍부한 출력 공간을 활용함으로써 RL이 겪는 토큰‑레벨 탐색 비용을 감소시킨다. 실험 결과 OPQE는 모든 비교 대상(프롬프트 단독, RL 직접 재작성)보다 평균 2~4%p의 절대 성능 향상을 보였으며, 특히 dense retriever와 결합했을 때 가장 큰 이득을 나타냈다. 또한 학습 비용은 기존 RL보다 약 30% 감소했다.

논문은 구현 코드를 공개해 재현성을 확보했으며, 향후 연구 방향으로는 보상 설계 자동화, 멀티‑모달 LLM 활용, 그리고 실제 API 기반 검색 서비스와의 연동을 제시한다. 전체적으로 이 연구는 “복잡한 RL 학습이 반드시 필요하지 않다”는 점을 실증적으로 입증하고, 프롬프트와 RL을 적절히 결합한 새로운 패러다임을 제시한다는 점에서 의미가 크다.