사용자 의도 사전 파악을 위한 강화학습 기반 딥리서치 에이전트

초록

IntentRL은 모호한 사용자 질의를 사전에 명확히 하여 장시간의 딥리서치 실행 비용을 절감하고 결과 만족도를 높이는 프롤액티브 에이전트를 강화학습으로 훈련한다. 소수의 시드 데이터를 클리어피케이션 DAG로 확장해 대규모 대화 데이터를 만들고, 오프라인 전문가 궤적을 활용한 단계‑Ⅰ RL과 사용자 시뮬레이터를 이용한 단계‑Ⅱ 온라인 RL을 결합한다. 실험 결과, 기존 클리어피케이션 모듈 및 프로액티브 LLM 대비 의도 적중률과 최종 보고서 품질이 크게 향상된다.

상세 분석

본 논문은 딥리서치(Deep Research) 에이전트가 직면한 ‘자율‑상호작용 딜레마’를 핵심 문제로 정의한다. 딥리서치는 웹 검색·정보 추출·보고서 작성이라는 장기·고비용 프로세스를 자동화하지만, 초기 질의가 모호할 경우 불필요한 탐색과 연산이 발생해 효율이 급감한다. 이를 해결하기 위해 저자들은 사용자 의도를 사전에 파악하는 프롤액티브 대화 단계가 필요하다고 주장한다.

기술적 기여는 크게 두 축으로 나뉜다. 첫째, 데이터 스케일링 파이프라인이다. 원본 질의와 평가 루브릭을 기반으로 ‘얕은 의도(Shallow Intent)’와 ‘깊은 의도(Deep Intent)’를 정의하고, 이를 정점으로 하는 클리어피케이션 DAG(C‑DAG)를 구축한다. DAG의 각 노드는 다중 선택형 질문을 나타내며, 간선은 논리적 선후관계를 인코딩한다. 깊이 우선 탐색과 옵션 분기를 통해 하나의 시드 샘플을 수백 개의 고품질 대화 궤적으로 확장한다. 이렇게 생성된 2,347개의 턴은 오프라인 RL 단계의 전문가 궤적으로 활용된다.

둘째, 두 단계 강화학습 프레임워크이다. 단계‑Ⅰ에서는 정적 궤적을 이용해 GRPO(Group Relative Policy Optimization)를 적용, ‘목표 의도 집합(I*ₜ)’을 힌트로 삼아 턴‑레벨 보상을 설계한다. 여기서 보상은 질문이 현재 접근 가능한 의도 노드와 얼마나 일치하는가를 측정한다. 단계‑Ⅱ에서는 의도‑인식 사용자 시뮬레이터와의 온라인 롤아웃을 수행한다. 시뮬레이터는 (1) 임베딩 기반 유사도 검증으로 중복·무관 질문을 차단하고, (2) LLM‑judge를 통해 실제 사용자 응답을 생성한다. 이중 검증은 행동 공간의 폭발을 억제하면서도 현실적인 피드백을 제공한다.

실험에서는 IntentRL을 기존 클리어피케이션 모듈(폐쇄형 DR 시스템) 및 최신 프로액티브 LLM(Ask‑when‑Needed, ACT 등)과 비교했다. 주요 평가지표는 ‘의도 적중률(Intent Hit Rate)’과 ‘보고서 품질(Robustness, Insight, Coverage 등)’이다. 결과는 IntentRL이 의도 적중률을 1218%p 상승시키고, 최종 보고서의 루브릭 점수를 평균 0.150.22 상승시켰음을 보여준다. 특히, 베이스 DR 에이전트가 고성능일수록 클리어피케이션 효과가 증폭되는 ‘스케일링 효과’를 관찰했다.

이 논문은 (1) 오픈‑도메인, 비구조화된 연구 과제에 대한 대화 데이터 생성 방법, (2) 부분 관측 POMDP를 기반으로 한 의도 파악 정책 학습, (3) 오프라인·온라인 RL을 결합한 안정적·탐색적 학습 전략이라는 세 가지 기술적 혁신을 제공한다. 또한, 검증 불가능한 보상 설계와 사용자 시뮬레이터 구축에 대한 실용적 인사이트를 제시해 향후 LLM 기반 에이전트의 인간‑중심 인터랙션 연구에 중요한 토대를 마련한다.