인간 선호 기반 쿼리 맞춤 루브릭 학습으로 딥리서치 보고서 생성 향상

초록

본 논문은 인간 선호 데이터를 활용해 쿼리별 평가 루브릭을 자동 생성하고, 이를 강화학습 보상으로 사용해 딥리서치(Long‑Form Report) 생성 에이전트를 훈련시키는 파이프라인을 제안한다. 5천 개 이상의 연구형 쿼리와 선호 라벨을 구축하고, GRPO 기반 강화학습으로 인간 선호 일관성과 LLM‑as‑Judge 평가를 결합한 하이브리드 보상을 적용한다. 또한 긴 컨텍스트와 다단계 추론을 지원하는 Multi‑agent Markov‑state (MaMs) 워크플로우를 설계해, 생성된 루브릭이 기존의 일반 루브릭이나 LLM‑생성 루브릭보다 더 세분화되고 인간 정렬된 신호를 제공함을 실험적으로 입증한다. 최종적으로 오픈소스 베이스라인을 모두 능가하고, 폐쇄형 최첨단 모델에 근접한 성능을 달성한다.

상세 분석

이 연구는 딥리서치(Long‑Form Report) 생성이라는 고난이도 과제에서 “보상 신호”의 부재라는 근본적인 문제를 해결하려는 시도이다. 기존에는 (1) 사전에 정의된 일반 루브릭을 사용하거나, (2) 전문가가 직접 쿼리별 루브릭을 설계하는 두 가지 접근법이 주를 이루었다. 전자는 평가 granularity가 부족해 미세한 품질 차이를 포착하기 어렵고, 후자는 비용과 인력 소모가 커서 대규모 데이터에 적용하기 힘들다. 논문은 이 두 한계를 동시에 극복하기 위해 “인간 선호 기반 쿼리 맞춤 루브릭 생성기”를 학습한다는 아이디어를 제시한다.

핵심 기법은 다음과 같다. 첫째, 5,000여 개의 딥리서치 스타일 쿼리를 수집하고, 각 쿼리마다 두 개의 후보 보고서를 인간 라벨러가 “유용성, 일관성, 완전성, 정렬성” 기준으로 선호 여부를 판단하도록 했다. 이렇게 구축된 Preference Dataset은 루브릭 생성기의 지도 신호로 활용된다. 둘째, 루브릭 생성기는 GRPO(Group Relative Policy Optimization)라는 정책 최적화 알고리즘을 사용해 강화학습한다. 여기서 보상은 두 부분으로 구성된다. (a) Preference Consistency Reward: 생성된 루브릭이 인간이 선호한 보고서를 높은 점수로 평가하고, 비선호 보고서를 낮게 평가하도록 하는 신호. (b) LLM‑as‑Judge Reward: 사전 학습된 강력한 LLM을 이용해 루브릭 자체의 품질(명료성, 적용 가능성, 차별성)을 평가하고, 이를 보상에 가중치로 반영한다. 이 하이브리드 보상은 루브릭이 인간 판단과 일치하면서도 논리적으로 타당하도록 만든다.

세 번째 기여는 MaMs(Multi‑agent Markov‑state) 워크플로우이다. 기존 ReAct 스타일 에이전트는 긴 컨텍스트와 다단계 추론에서 상태 관리가 약점이었다. MaMs는 (1) 검색 에이전트, (2) 보고서 작성 에이전트, (3) 상태 업데이트 모듈을 독립적인 에이전트로 분리하고, 마르코프 상태 전이 형태로 상호작용한다. 이렇게 하면 각 단계에서 쿼리‑특정 루브릭을 적용해 롤아웃(report) 샘플에 대한 정밀 보상을 즉시 계산할 수 있다. 또한, 루브릭 기반 보상은 에이전트가 “보상 해킹”을 시도할 여지를 줄이고, 학습 안정성을 크게 향상시킨다.

실험 결과는 두 차원에서 설득력을 갖는다. (1) 루브릭 품질 평가에서는 인간‑주도 루브릭, 사전 정의된 일반 루브릭, LLM‑생성 루브릭 대비 선호 일관성 점수와 LLM‑as‑Judge 점수가 각각 평균 12%·9% 상승했다. (2) 딥리서치 에이전트 훈련에서는 MaMs와 결합된 루브릭 생성기를 사용한 모델이 DeepResearch Bench에서 모든 오픈소스 베이스라인(예: WebWeaver, DrTulu 등)을 앞서며, 최고 성능 폐쇄형 모델(예: GPT‑4o, Claude‑3)와 1~2% 차이 내에 머물렀다. 특히, 복잡한 법률·의학·비즈니스 도메인에서 인간 평가자와의 상관관계가 0.78까지 상승한 점은 루브릭이 실제 인간 판단을 잘 모사함을 보여준다.

이 논문은 “루브릭 자체를 학습 가능한 정책”으로 전환함으로써, 평가와 보상 사이의 간극을 메우는 새로운 패러다임을 제시한다. 인간 선호 데이터가 충분히 확보될 경우, 다양한 도메인에 대한 맞춤형 평가 기준을 자동으로 생성하고, 이를 강화학습 보상으로 활용해 고품질 장문 보고서를 지속적으로 생산할 수 있다. 향후 연구에서는 (a) 루브릭 생성기의 메타‑학습을 통해 새로운 쿼리 유형에 대한 제로샷 적응, (b) 인간 라벨링 비용을 최소화하기 위한 active learning 전략, (c) 다중 LLM 앙상블을 통한 루브릭 평가의 다중 관점 통합 등을 탐색할 여지가 있다.