시간 관리용 자기진화 보조인 PEARL

초록

PEARL은 외부 선호 메모리를 활용해 장기 캘린더 충돌 해결 능력을 강화한 강화학습 기반 LLM 에이전트이다. 새로 만든 CalConflictBench 벤치마크에서 기존 LLM 에이전트의 평균 오류율 35%를 크게 낮추어 55% 개선을 달성했다.

상세 분석

본 논문은 현대 직장인들이 겪는 일정 충돌 문제를 “캘린더 충돌 해결”이라는 새로운 장기 의사결정 과제로 정의하고, 이를 평가하기 위한 CalConflictBench 벤치마크를 설계하였다. 벤치마크는 역할별 조직 스키마와 우선순위 원칙을 기반으로 합성된 연간 캘린더를 생성하고, 매주 하나씩 충돌 이벤트를 제시한다. 에이전트는 매 라운드마다 현재 캘린더 상태와 충돌 이벤트 집합을 관찰하고, 정확히 하나의 이벤트만을 수락해야 하며, 나머지는 거절한다. 평가 지표는 라운드별 결정 정확도, Optimal Rank Distance(ORD), 평균 오류율, 오류 감소율 등으로 구성되어 장기 선호 학습 능력을 정량화한다.

실험 결과, Qwen‑3‑30B‑Think 등 최신 오픈소스 및 프로프라이어터리 모델을 그대로 사용한 경우 평균 오류율이 30~40% 수준에 머물며, 라운드 수가 증가해도 오류 감소율이 거의 0에 가깝다. 이는 기존 LLM이 장기적인 선호 추론과 기억 유지에 한계가 있음을 보여준다.

PEARL은 두 가지 핵심 메커니즘으로 이 문제를 해결한다. 첫째, “Strategy Hub”라 명명된 외부 선호 메모리를 도입해, 각 라운드에서 추론된 선호 상태(예: 참석자 우선순위, 주제 중요도, 시간·장소 선호)를 저장·갱신한다. 메모리는 구조화된 키‑값 형태로 설계돼, LLM이 직접 접근해 현재 의사결정에 활용할 수 있다. 둘째, 라운드별 보상 함수를 설계해 결정 정확도, ORD, 메모리 사용 효율을 동시에 최적화한다. 초기 라운드에서는 선호 추론에 비중을 두고, 후반 라운드에서는 추론된 선호와 일치하는 결정을 내리는 방향으로 보상이 점진적으로 전환되는 커리큘럼 기반 학습을 적용한다.

강화학습은 PPO 기반 정책 최적화를 사용했으며, 메모리 업데이트는 차별화된 손실(예: KL‑다이버전스)로 안정화한다. 실험에서는 PEARL이 평균 오류율을 0.76으로 낮추고, 가장 강력한 베이스라인 대비 55%의 오류 감소를 달성했다. 특히 충돌 이벤트 수(M)가 증가할수록 기존 모델은 오류가 급격히 상승하지만, PEARL은 메모리 기반 선호 유지 덕분에 비교적 완만한 성능 저하를 보였다.

또한, 오류 감소율 분석에서는 초기 라운드에서의 높은 오류가 후반 라운드로 갈수록 크게 감소함을 확인했다. 이는 PEARL이 장기적인 선호 학습에 성공했음을 의미한다. 메모리 사용량 측면에서도 불필요한 메모리 확장을 억제하면서 핵심 선호만을 유지하는 효율성을 보였다.

전체적으로 이 논문은 (1) 캘린더 충돌 해결이라는 실용적이고 장기적인 LLM 응용 과제를 정의, (2) 합성 데이터와 인간 검증을 결합한 벤치마크를 제공, (3) 외부 메모리와 강화학습을 결합한 새로운 프레임워크 PEARL을 제안함으로써, LLM 기반 개인 비서의 신뢰성을 크게 향상시킬 수 있음을 입증했다.