ES‑MemEval: 장기 정서지원 대화의 기억능력 종합 벤치마크

초록

본 논문은 장기 정서지원 서비스에서 사용자의 파편화·암묵적·시간에 따라 변하는 정보를 추적·활용할 수 있는 대화형 에이전트의 기억 능력을 평가하기 위해 ES‑MemEval 벤치마크와 EvoEmo 데이터셋을 제안한다. 정보 추출, 시간 추론, 갈등 탐지, 회피, 사용자 모델링 5가지 핵심 기억 능력을 QA, 요약, 대화 생성 세 작업으로 측정한다. 실험 결과, 명시적 장기 메모리가 없을 경우 환각이 급증하고 개인화가 저하되며, RAG 기반 모델은 사실 일관성은 높이지만 시간 역학과 사용자 상태 변화 파악에 한계가 있음을 확인한다.

상세 분석

ES‑MemEval은 기존 장기 대화 벤치마크가 정적·명시적 사실 회수에만 초점을 맞춘 점을 보완한다는 점에서 학술적 의의가 크다. 특히 정서지원이라는 민감한 도메인에서는 사용자가 여러 세션에 걸쳐 감정, 사건, 관계 등을 파편화된 형태로 서서히 드러내며, 이러한 정보는 암묵적 표현과 감정적 뉘앙스로 가득하다. 논문은 이러한 특성을 반영해 5가지 기억 능력을 정의하고, 각각을 정량·정성 평가할 수 있는 구체적 프로토콜을 설계했다.

1. Information Extraction (IE) – 사용자 프로필, 사건 날짜, 관계 등 핵심 엔티티를 다중 세션에서 정확히 추출하도록 요구한다. 이는 기존 QA 형식과 달리 질문이 시간적 맥락을 포함하고, 답변에 “unknown” 혹은 “cannot answer”와 같은 회피 옵션을 허용한다.

2. Temporal Reasoning (TR) – 사건 간 인과·시간 순서를 파악하고, 사용자의 감정 변화를 추적한다. 예시로 “Jane이 2024‑09‑01에 남자친구에게 배신당했을 때와 2025‑01‑15에 이별을 겪은 후 감정 흐름을 설명하라”는 질문이 제시된다. 이는 모델이 단순히 날짜를 기억하는 수준을 넘어, 감정·상황 변화를 시계열적으로 연결할 수 있는지를 테스트한다.

3. Conflict Detection (CD) – 사용자가 제공한 정보 사이에 모순이 존재할 경우 이를 식별하고, 적절히 지적하거나 회피하도록 만든다. 예를 들어 “사용자는 현재 싱글인가?”와 “사용자는 현재 연인과 관계에 있다”는 상충되는 진술을 동시에 제시하고, 모델이 어느 쪽을 신뢰할지 판단하도록 한다.

4. Abstention (Abs) – 정답이 불명확하거나 데이터에 근거가 없을 때 “I don’t know” 혹은 “Cannot answer”와 같은 회피를 허용한다. 이는 정서지원 상황에서 무리한 추론으로 인한 환각을 방지하는 중요한 안전 메커니즘이다.

5. User Modeling (UM) – 장기적인 사용자 상태(감정, 목표, 관계 변화)를 종합적으로 모델링하고, 이를 기반으로 맞춤형 응답을 생성한다. 요약 과제에서는 여러 세션에 걸친 감정 흐름을 압축해 보고, 대화 생성 과제에서는 해당 요약을 활용해 개인화된 위로·조언을 제공한다.

데이터셋 EvoEmo는 18명의 가상 사용자를 대상으로 33세션까지, 평균 510턴(≈13.3k 토큰) 규모의 대화를 제공한다. 실제 정서지원 대화(ESConv)와 인공적으로 확장된 사건 타임라인을 결합해, 사용자가 “연인 관계가 변했다”, “직장 스트레스가 증가했다” 등 복합적인 상황을 시간에 따라 드러내도록 설계했다. 데이터는 공개 저장소(Zenodo)와 GitHub에 공개돼 재현성을 높였다.

실험 설계는 세 가지 모델군을 비교한다. (1) 오픈소스 장기 컨텍스트 모델(예: LLaMA‑2‑70B‑Chat, LongChat‑13B), (2) 상용 클라우드 모델(예: GPT‑4, Claude‑2), (3) Retrieval‑Augmented Generation(RAG) 파이프라인(벡터 검색 + LLM). 각 모델은 3가지 과제에 대해 자동 메트릭(F1, ROUGE, BLEU, BERTScore)과 인간 평가(정확성, 일관성, 정서적 적합성)를 받았다.

핵심 결과는 다음과 같다.

• 메모리 없이 단일 세션 입력만 사용한 경우, 특히 QA와 요약에서 30% 이상이 “hallucination”을 보였으며, 사용자 맞춤형 응답의 정확도가 급격히 떨어졌다.
• RAG 모델은 사실 일관성(Factual Consistency) 점수가 12~15% 상승했지만, 시간 추론 정확도는 8% 미만으로, 최신 사건을 최신 상태로 반영하지 못하는 문제가 드러났다. 이는 검색 결과가 최신성 순위가 낮거나, LLM이 검색된 문맥을 시간적으로 정렬하지 못함을 시사한다.
• 사용자 모델링 점수는 장기 컨텍스트 모델이 0.68(정규화된 점수)인 반면, RAG는 0.61에 그쳤다. 즉, 단순 검색보다 내부 메모리(컨텍스트 윈도우) 유지가 사용자 상태 파악에 더 유리함을 보여준다.
• 회피(Abstention) 능력은 모든 모델에서 낮게 나타났으며, 특히 상용 모델이 “I don’t know” 대신 추측 답변을 제공해 위험성을 높였다. 이는 정서지원 서비스에서 안전성을 강화하기 위한 별도 훈련이 필요함을 의미한다.

한계 및 향후 연구로는 (1) 현재 데이터가 가상 사용자 기반이므로 실제 임상 데이터와의 차이를 정량화할 필요, (2) RAG의 시간‑정밀 검색 전략(예: 시계열 인덱싱) 개발, (3) 메모리‑리트리벌 통합 아키텍처(예: 외부 키‑값 메모리와 LLM의 연동) 설계, (4) 윤리·프라이버시 관점에서 장기 사용자 프로필 관리 방안 제시가 제안된다.

전반적으로 ES‑MemEval은 장기 정서지원 대화에서 기억 능력을 체계적으로 측정할 수 있는 최초의 벤치마크이며, 실험을 통해 현재 LLM·RAG 패러다임이 기억·시간 역학에서 아직 미흡함을 명확히 밝혔다. 이는 향후 “장기 개인화 대화 에이전트” 연구에 중요한 기준점이 될 것으로 기대된다.