퍼소벤치 개인화 응답 생성 벤치마크

초록

본 논문은 대규모 언어 모델(LLM)의 개인화된 대화 응답 생성 능력을 자동으로 평가하기 위한 퍼소벤치(PersoBench) 파이프라인을 제안한다. 스피커‑인식 주석, 컨텍스트‑드리븐 프롬프트 구성, 응답 후처리, 그리고 유창성·다양성·일관성·개인화 네 가지 차원의 자동 평가를 포함한다. 세 가지 퍼소나‑인식 데이터셋과 8개의 공개·폐쇄형 모델을 제로샷 및 CoT(Chain‑of‑Thought) 설정에서 테스트했으며, LLM은 유창하고 다양성은 높지만 개인화와 대화 일관성에서는 아직 미흡함을 확인했다.

상세 분석

퍼소벤치는 기존 역할‑플레이 기반 벤치마크(RPBench‑Auto, TIMECHARA 등)가 평가하는 ‘역할 일관성’에 머무르는 한계를 넘어, 실제 사용자 퍼소나와 대화 컨텍스트를 동시에 고려한 응답 개인화 능력을 정량화한다는 점에서 의의가 크다. 파이프라인은 먼저 원시 대화 로그와 퍼소나 설명을 텍스트 전처리 단계에서 스피커 라벨링을 수행해 구조화한다. 이어서 “대화 컨텍스트와 퍼소나를 제공하고, 개인화된 응답을 생성하라”는 명령과 함께, CoT 설정에서는 ‘개인화 과정에 대한 간략한 추론(reasoning)’을 요구하는 JSON 형식 출력을 강제한다. 이러한 설계는 자동 평가 모듈이 응답과 추론을 별도로 파싱해, 유창성(Fluency), 다양성(Diversity), 일관성(Coherence), 개인화(Personalization) 네 가지 지표를 일관되게 측정하도록 만든다.

평가 지표는 기존 ROUGE·BLEU·BERTScore와 같은 표면적 매칭을 넘어, Persona‑F1, AlignScore와 같은 퍼소나 적합성을 반영하는 메트릭을 포함한다. 특히 일관성은 대화 흐름과 퍼소나 간의 의미적 연결을 평가하도록 설계돼, 단순 문법적 정확성을 넘어 대화 전후 맥락을 유지하는 능력을 측정한다.

실험에서는 4개의 오픈소스(LLaMA‑2, Mistral, Falcon 등)와 4개의 폐쇄형(GPT‑4, Claude‑2, Gemini 등) 모델을 선택했으며, BST, FoCus, IT‑ConVAI2 등 세 가지 데이터셋을 사용해 3,600여 샘플을 평가했다. 제로샷 설정을 고수함으로써 사전 프롬프트 튜닝이나 파인‑튜닝 없이 모델의 본래 능력을 드러냈다. CoT 프롬프트가 일부 모델에서 일관성 점수를 약간 상승시켰지만, 개인화 점수는 전반적으로 낮게 나타났다. 이는 현재 LLM이 퍼소나 정보를 인코딩하긴 하지만, 이를 실제 응답에 효과적으로 반영하는 메커니즘이 부족함을 시사한다.

또한 응답 시간과 인스트럭션 준수도 함께 측정했는데, 폐쇄형 모델이 전반적으로 빠르고 지시를 정확히 따르는 반면, 오픈소스 모델은 응답 지연과 포맷 오류가 빈번했다. 이러한 결과는 실제 서비스 적용 시 비용·성능·개인화 품질 간의 트레이드오프를 고려해야 함을 강조한다.

논문의 한계로는 자동 평가 메트릭이 아직 인간 판단을 완전히 대체하지 못한다는 점, 그리고 데이터셋이 영어 중심이며 도메인 다양성이 제한적이라는 점을 들 수 있다. 향후 연구에서는 멀티모달 퍼소나, 장기 대화 흐름, 그리고 인간‑인증 평가를 결합해 평가 신뢰성을 높이는 방향이 필요하다.