다중턴 강화학습에서 밀도와 희소 신호를 조화시키는 듀얼 호라이즌 크레딧 할당

초록

본 논문은 산업용 영업 챗봇을 위한 다중턴 강화학습에서, 회화 품질을 나타내는 밀도 높은 턴‑레벨 보상과 최종 전환율·규정 준수를 나타내는 희소한 세션‑레벨 보상이 서로 경쟁하는 문제를 해결한다. 저자는 두 시간 규모를 독립적으로 처리하고 각각의 어드밴티지를 정규화한 “Horizon‑Independent Advantage Normalization”(HIAN) 기반의 Dual‑Horizon Credit Assignment(DuCA) 프레임워크를 제안한다. 고충실도 LLM 기반 사용자 시뮬레이터에서 수행한 실험 결과, DuCA는 최신 GRPO 대비 전환율 6.82% 상승, 문장 반복 82.28% 감소, 신원 탐지율 27.35% 감소 등 전반적인 성능 향상을 입증한다.

상세 분석

이 논문은 산업 현장에서 LLM을 영업 에이전트로 활용할 때 직면하는 ‘보상 스케일 불균형’ 문제를 심도 있게 분석한다. 전통적인 RL 접근법은 턴‑레벨 언어 품질 보상(문법, 유창성, 규정 준수 등)과 세션‑레벨 비즈니스 목표(전환 성공 여부, 컴플라이언스 점수)를 단일 스칼라 보상으로 합산한다. 그러나 세션‑레벨 보상은 일반적으로 높은 magnitude와 높은 variance를 가지며, 이는 정책 업데이트 시 턴‑레벨 신호를 거의 무시하게 만드는 gradient dominance 현상을 초래한다. 반대로, 턴‑레벨 보상만을 강조하면 에이전트가 장기 목표를 무시하고 ‘보상 해킹’(예: 반복적인 친절 표현)으로 수렴할 위험이 있다.

DuCA는 이러한 양극화를 해소하기 위해 세 단계로 구성된 크레딧 할당 메커니즘을 도입한다. 첫 번째 단계에서는 두 개의 독립적인 가치 함수 V_turn과 V_session을 학습한다. 각각은 GAE(Generalized Advantage Estimation)를 사용해 A_turn과 A_session을 계산하는데, 여기서 γ와 λ 파라미터를 다르게 설정함으로써 턴‑레벨은 0.99, 세션‑레벨은 1.0으로 지정해 장기 보상의 감쇠를 방지한다.

두 번째 단계인 Horizon‑Independent Advantage Normalization(HIAN)은 미니배치 내에서 A_turn과 A_session을 각각 평균·표준편차로 정규화한다. 수식 (4)·(5)에서 보듯, 정규화는 ε를 더해 수치적 안정성을 확보한다. 이 과정은 두 어드밴티지의 스케일을 독립적으로 맞춤으로써, 높은 variance를 가진 세션‑레벨 어드밴티지가 턴‑레벨 어드밴티지를 압도하는 현상을 근본적으로 차단한다. 논문은 이를 “gradient suppression” 현상의 수학적 전개를 통해 증명한다.

세 번째 단계에서는 정규화된 어드밴티지를 가중합 w_turn·Â_turn + w_session·Â_session 형태로 결합하고, PPO의 클리핑 목적함수에 삽입한다. 가중치 w는 실험적으로 튜닝되며, 일반적으로 w_turn > w_session 형태로 설정해 언어 품질을 기본으로 유지하면서도 비즈니스 목표를 충분히 반영한다.

실험 설계는 두 가지 핵심 요소를 포함한다. 첫째, 31,000개의 실제 영업 대화 데이터를 기반으로 만든 고충실도 사용자 시뮬레이터를 구축했으며, 이는 persona(가격 민감도, 회의적 태도 등)를 조건으로 받아 다변량 고객 행동을 모사한다. 둘째, 다양한 베이스라인(SFT, REINFORCE++, GRPO, GDPO)과 비교해 전환율(CVR), 컴플라이언스 점수, 턴‑레벨 반복률, 신원 탐지율(IDR) 등 9개의 지표를 종합 평가했다. DuCA는 전환율 24.44%를 기록해 GRPO 대비 6.82% 상대 향상을 보였고, 인터턴 반복률을 2.71%까지 낮춰 82.28% 감소 효과를 냈다. 또한 IDR을 27.35% 감소시켜 보다 전문적인 대화 흐름을 구현했다.

Ablation 연구에서는 HIAN을 제거한 w/o HIAN 변형이 전환율과 컴플라이언스 모두에서 성능 저하를 보였으며, 다중턴 환경을 단일턴으로 축소한 w/o Multi-turn 역시 전반적인 효율성이 크게 떨어졌다. 이는 두 시간 규모를 동시에 고려하는 구조가 핵심임을 실증한다.

한계점으로는 시뮬레이터에 의존하는 평가가 실제 고객과의 상호작용에서 동일한 효과를 보장하지 않을 수 있다는 점, 그리고 HIAN의 가중치 선택이 도메인마다 민감하게 변할 가능성이 있다는 점을 들 수 있다. 향후 연구에서는 온라인 A/B 테스트와 자동 가중치 학습 메커니즘을 도입해 실시간 적응성을 높이는 방향을 제안한다.