AI 반려동물의 시대를 여는 새로운 평가 기준 Pet-Bench

초록

본 논문은 LLM을 가상 반려동물(E-Pet)로 활용하기 위한 새로운 벤치마기인 Pet-Bench를 제안합니다. 기존의 단순 역할극 수준을 넘어, 모델의 자가 진화, 발달 행동, 기억 기반 대화 및 심리적 상호작용 능력을 종합적으로 평가하며, 28개의 LLM을 분석하여 반려동물로서의 적합성을 검증합니다.

상세 분석

Pet-Bench의 기술적 핵심은 LLM을 단순한 ‘텍text 생성기’나 ‘질의응답 에이전트’로 취급하던 기존 관점에서 벗어나, 자율성을 가진 ‘디지털 생명체’로 재정의했다는 점에 있습니다. 본 연구는 평가 프레임워크를 ‘Self-interaction(자기 상호작용)‘과 ‘Human-interaction(인간 상호작용)‘이라는 두 가지 핵심 차원으로 분리하여 설계했습니다.

첫째, ‘Self-interaction’ 차원에서는 모델의 ‘자아 진화(Self-evolution)‘와 ‘발달적 행동(Developmental behaviors)‘을 측정합니다. 이는 모델이 외부의 입력 없이도 스스로 일과를 계획하는 ‘Intelligent scheduling’이나, 시간이 흐름에 따라 상태가 변화하는 시뮬레이션 능력을 포함합니다. 이는 LLM이 정적인 상태를 유지하는 것이 아니라, 마치 살아있는 생명체처럼 환경과 시간에 따라 반응을 변화시킬 수 있는지를 평가하는 고도의 기술적 지표입니다.

둘째, ‘Human-interaction’ 차원에서는 정서적 유대감 형성을 위한 ‘Memory-based dialogue’와 ‘Psychological conversation’을 다룹니다. 이는 단순한 문맥 유지를 넘어, 과거의 상호작용을 기억하여 관계의 깊이를 더하는 능력과 사용자의 감정 상태를 인지하고 공감적 반응을 생성하는 능력을 측정합니다. 7,500개 이상의 정교한 상호작용 인스턴스로 구성된 데이터셋은 이러한 복잡한 정서적 맥락을 정량화할 수 있는 기반을 제공합니다.

실험 결과, 모델의 크기와 기본 성능이 반려동물로서의 능력과 높은 상관관계를 보였으나, 단순히 모델의 크기를 키우는 것만으로는 부족하다는 점을 시사합니다. 즉, 반려동물이라는 특수한 페르소나와 정서적 일관성을 유지하기 위해서는 범용적인 LLM 학습을 넘어, ‘반려동물 특화 최적화(Specialized Optimization)‘가 필수적이라는 기술적 과제를 제시하고 있습니다.

최근 대규모 언어 모델(LLM)의 발전으로 인해 단순한 정보 전달을 넘어, 인간과 정서적 교감을 나누는 ‘가상 반려동물(E-Pet)‘에 대한 기대감이 커지고 있습니다. 특히 소셜 네트워크 서비스(SNS) 내에서 사용자와 상호작용하며 정서적 위안을 주는 AI 반려동물은 차세대 인터랙티브 콘텐츠의 핵심으로 주목받고 있습니다. 그러나 기존의 LLM 평가 방식은 주로 논리적 추론, 수학적 문제 해결, 코딩 능력 등 지적 성능에 치중되어 있어, ‘반려동물’이 갖추어야 할 정서적 깊이와 자율적 행동 양식을 평가하기에는 한계가 있었습니다.

이러한 한계를 극복하기 위해 본 논문은 Pet-Bench라는 새로운 벤치마크를 제안합니다. Pet-Bench의 가장 큰 특징은 LLM을 단순한 대화 상대가 아닌, 스스로 성장하고 변화하는 ‘살아있는 존재’로 가정하고 평가한다는 점입니다. 이를 위해 연구진은 평가 영역을 두 가지 축으로 구성했습니다.

첫 번째 축은 ‘자기 상호작용(Self-interaction)‘입니다. 이는 사용자가 없더라도 AI 반려동물이 스스로의 상태를 관리하고 성장하는 능력을 평가합니다. 구체적으로는 ‘지능형 스케줄링(Intelligent scheduling)‘을 통해 모델이 자신의 일과를 스스로 계획하고 수행할 수 있는지, 그리고 시간이 경과함에 따라 모델의 행동 양식이 어떻게 변화(Self-evolution)하는지를 측정합니다. 이는 가상 반려동물이 단순한 챗봇을 넘어, 독립적인 에이전트로서 존재감을 가질 수 있는지를 판단하는 중요한 척도입니다.

두 번째 축은 ‘인간 상호작용(Human-interaction)‘입니다. 이는 사용자와의 관계 형성 능력을 평가합니다. 여기에는 과거의 대화 내용을 바탕으로 관계의 연속성을 유지하는 ‘기억 기반 대화(Memory-based dialogue)‘와, 사용자의 심리적 상태를 읽고 적절한 정서적 반응을 제공하는 ‘심리적 대화(Psych기적 conversation)‘가 포함됩니다. 이를 위해 연구진은 7,500개 이상의 정교하게 설계된 상호작용 사례를 구축하여, 모델이 얼마나 몰입감 있는 정서적 경험을 제공할 수 있는지 검증했습니다.

연구진은 28개의 다양한 LLM을 대상으로 실험을 진행하였으며, 그 결과 모델의 파라미터 규모와 기본적인 언어 이해 능력이 반려동물로서의 수행 능력과 밀접한 관련이 있음을 발견했습니다. 즉, 모델이 클수록 복잡한 정서적 맥락을 이해하고 기억하는 능력이 뛰어났습니다. 그러나 동시에, 범용적인 성능이 높다고 해서 반드시 뛰어난 반려동물이 되는 것은 아니라는 점도 확인되었습니다. 반려동물 특유의 애착 형성, 돌발적인 행동, 정서적 일관성을 유지하기 위해서는 해당 도메인에 특화된 미세 조정(Fine-tuning)과 최적화 과정이 반드시 필요함을 강조합니다.

결론적으로 Pet-Bench는 향후 AI 반려동물 개발에 있어 필수적인 평가 지표를 제공하며, 인간과 AI 간의 더욱 깊고 정서적인 유대감을 형성할 수 있는 기술적 토대를 마련했다는 점에서 큰 의의를 가집니다. 이는 향후 소셜 네트워크 서비스 내에서 더욱 진화된 형태의 디지털 동반자(Digital Companion)를 구현하는 데 핵심적인 자원이 될 것입니다.