전략과 실행을 분리한 목표 지향 대화 최적화 GOPO

초록

본 논문은 대규모 언어 모델을 활용한 업무 중심 대화 시스템에서 전략 선택과 응답 생성을 별도의 에이전트로 분리하는 계층형 강화학습 프레임워크 GOPO를 제안한다. 전문가 에이전트가 다중 턴 목표 선호도를 최적화하고, 고객 서비스 에이전트가 해당 전략을 강제된 제약조건 하에 실제 응답을 생성한다. 새로운 시퀀스‑레벨 평가 지표 TSE와 실제 전자상거래 데이터에 기반한 실험을 통해 기존 PPO·Memento 대비 7–10% 이상의 개선을 입증한다.

상세 분석

GOPO는 기존 단일 에이전트 방식이 전략 선택과 언어 생성 사이의 상호 의존성을 제대로 다루지 못한다는 문제점을 인식하고, 두 단계로 구성된 계층형 마르코프 결정 과정을 도입한다. 상위 레벨인 Expert Agent는 사전 정의된 스킬 풀에서 적절한 스킬 시퀀스를 선택해 ‘매크로‑액션’ a_E^t 를 생성한다. 이때 보상은 Discounted Cumulative Gain(DCG)을 정규화한 ESNDCG를 기반으로 하며, 교사 모델이 제공하는 레퍼런스 스킬 시퀀스와의 순위 일치를 측정한다. 이는 단순 토큰‑레벨 로그우도와 달리 대화 전체 흐름에서 목표 달성도를 반영한다. 하위 레벨인 Customer Service Agent는 Expert Agent가 제시한 스킬을 하드 제약조건으로 받아, GPT‑4 기반 자동 평가 모델이 산출한 품질·준수·다양성 점수를 가중합한 R_A^t 를 보상으로 받는다. 손실 함수는 정책 그래디언트, 스킬 일치 손실, 엔트로피 기반 다양성 손실을 가중합한 복합 형태이며, 이는 전략과 실행 사이의 일관성을 동시에 최적화한다.

학습 과정은 Actor‑Critic 구조를 활용해 Advantage 값을 추정하고, 두 에이전트가 공유하는 Joint Reward R_t 를 통해 상호 피드백을 제공한다. 특히 SOP(표준 운영 절차) 준수를 위한 ‘하드‑제약 전송 메커니즘’은 전략 단계에서 정의된 규칙을 토큰 생성 단계에 직접 삽입함으로써, 프롬프트 기반 소프트 제약의 불안정성을 극복한다.

실험에서는 Mgshop, MultiMoz, TmallBrand‑A/B 등 실제 전자상거래 고객 서비스 데이터셋을 사용했으며, 새롭게 제안한 TSE(Task‑focused Sequential Engagement) 지표는 대화 전반에 걸친 전환율·고객 만족·첫 접촉 해결률 등을 종합한다. GOPO‑Qwen3‑14B 모델은 14 B 파라미터 규모임에도 불구하고, 235 B 파라미터 Qwen 및 GPT‑5.2 대비 각각 2.7%·1.5% 높은 TSE를 기록했다. 또한 PPO와 Memento 대비 TSE 향상폭이 7.7%와 10.3%에 달했으며, GRE와 G‑Eval 같은 언어 품질 지표에서도 일관된 우위를 보였다.

Ablation 연구에서는 Expert Agent를 제거하거나 ESNDCG 보상을 단순화했을 때 장기 목표 달성률이 급격히 감소함을 확인했다. 이는 전략‑수행 분리와 트래젝터리‑레벨 보상의 중요성을 실증적으로 뒷받침한다. 한계점으로는 스킬 풀의 설계 비용과 교사 모델 의존성이 있으며, 향후 자동 스킬 추출 및 멀티‑도메인 확장 연구가 필요하다.