대화 관성 완화와 컨텍스트 선호 학습

초록

본 논문은 다중 회차 대화 에이전트에서 LLM이 이전 응답을 그대로 모방하는 “대화 관성” 현상을 발견하고, 이를 완화하기 위해 긴‑짧은 컨텍스트 기반 선호 학습(CPL)과 주기적 컨텍스트 클리핑 전략을 제안한다. 실험 결과, 대화 관성이 11% 감소하고 전반적인 에이전트 성능이 평균 4% 이상 향상됨을 보인다.

상세 분석

본 연구는 대규모 언어 모델(LLM)이 few‑shot 학습 능력을 활용해 다중 회차 에이전트로 전환될 때, 모델이 자체 이전 응답을 새로운 few‑shot 예시로 오인해 반복적으로 동일한 패턴을 생성하는 “대화 관성(conversational inertia)” 현상을 체계적으로 분석한다. 저자들은 주의(attention) 행렬을 시각화하고 정량화함으로써, 현재 응답의 i번째 토큰이 이전 어시스턴트 응답의 i번째 토큰에 과도하게 집중하는 대각선 형태의 주의 패턴을 발견하였다. 이러한 패턴은 컨텍스트 길이가 증가할수록 강화되며, 시스템 프롬프트에 대한 주의는 상대적으로 감소한다. 결과적으로 모델은 환경 피드백을 충분히 활용하지 못하고, 이전 대화 기록에 과도히 의존해 탐색(exploration) 능력이 저하된다.

핵심 통찰은 동일한 환경 상태에서 긴 컨텍스트를 사용하면 관성이 강해지고, 짧은 컨텍스트를 사용하면 관성이 약해진다는 점이다. 이를 이용해 저자들은 “긴‑짧은 컨텍스트 선호 쌍”을 자동으로 생성한다. 구체적으로, 동일 상태에 대해 전체 대화 기록을 포함한 긴 컨텍스트와 최근 몇 턴만 포함한 짧은 컨텍스트를 각각 입력해 두 개의 행동을 생성한다. 긴 컨텍스트에서 나온 행동은 일반적으로 관성이 높아 품질이 낮고, 짧은 컨텍스트에서 나온 행동은 관성이 낮아 더 다양하고 탐색적인 선택이 된다. 이렇게 얻은 (짧은 > 긴) 선호 쌍을 사용해 DPO(Direct Preference Optimization) 손실을 최소화하는 방식으로 모델을 미세조정한다. 파라미터 효율성을 위해 LoRA( Low‑Rank Adaptation) 기법을 적용, 전체 파라미터의 0.4%만 업데이트한다.

추가적으로, 추론 단계에서 “Clip Context”라는 컨텍스트 관리 기법을 제안한다. 일정 회차(H)마다 대화 히스토리를 잘라내고 최신 L회차만 남겨 KV‑cache를 그대로 활용한다. 이는 기존의 Window 방식이 KV‑cache 활용에 제약을 받는 문제를 해결하고, 긴 컨텍스트에서 발생하는 관성을 주기적으로 리셋함으로써 탐색‑활용 균형을 맞춘다. 요약 기반 방법(Summary Context)과 비교했을 때, 클리핑 자체가 관성 감소에 기여한다는 점을 실험적으로 입증한다.

실험은 AgentGym에 포함된 8개의 다양한 환경(미로 탐색, 웹 네비게이션, 임베디드 로봇 제어, 전략 게임 등)과 최신 연구 시나리오인 BrowseComp(코드 탐색·수정)에서 수행되었다. 주요 결과는 다음과 같다. (1) CPL을 적용한 모델은 긴 컨텍스트에서도 대각선 주의 비율을 평균 11% 감소시켰다. (2) Clip Context는 모든 모델에서 평균 4% 이상의 성공률 향상을 보였으며, 특히 Qwen‑3‑8B에서는 7.6%p의 절대적 향상을 기록했다. (3) Window 방식보다 클리핑이 KV‑cache 효율성을 유지하면서도 관성을 억제해 전반적인 성능을 앞선다. (4) Summarization 방식은 요약 자체보다 클리핑에 의해 관성이 감소한 것이 성능 향상의 주 요인임을 확인했다.

이러한 결과는 대화형 에이전트 설계 시 “컨텍스트 길이 ↔ 관성 ↔ 탐색” 삼각관계를 명시적으로 관리해야 함을 시사한다. CPL은 보상 신호가 없거나 전문가 시연이 부족한 상황에서도 자동으로 선호 데이터를 생성해 모델을 조정할 수 있는 실용적인 방법이며, Clip Context는 추론 효율성과 성능을 동시에 만족시키는 경량화된 컨텍스트 관리 전략이다. 향후 연구에서는 관성 감소가 장기 기억 유지와 어떻게 트레이드오프되는지, 그리고 멀티모달 에이전트에 대한 확장 가능성을 탐색할 여지가 있다.