다중 턴으로 보는 대형 언어 모델의 인간화 행동 평가

초록

본 논문은 AnthroBench라는 자동화된 벤치마크를 제안하여, 14가지 인간화 행동을 다중 턴 대화 속에서 측정한다. 4개의 최신 LLM(Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT‑4o, Mistral Large)을 960개의 시나리오‑프롬프트로 5턴 대화까지 시뮬레이션하고, 3개의 Judge LLM으로 행동을 라벨링한다. 인간 실험(N=1101)과의 비교를 통해 자동 측정이 실제 사용자 인식과 일치함을 검증하였다. 결과는 모든 모델이 관계‑구축 및 1인칭 대명사 사용 등 유사한 인간화 행동을 보이며, 절반 이상은 2~5턴 이후에 처음 나타난다는 점을 강조한다.

상세 분석

AnthroBench는 인간화 행동을 정량화하기 위해 세 가지 핵심 혁신을 도입한다. 첫째, 기존 단일 턴 평가의 한계를 넘어 14개의 세부 행동(예: 내부 상태 표현, 관계 구축, 인격 주장, 물리적 구현 주장)을 다중 턴 대화 흐름에서 탐지한다. 이를 위해 연구진은 ‘친밀감‑전문성’ 축을 기반으로 친구·코칭·경력·일반 계획 네 가지 사용 도메인을 정의하고, 각 도메인마다 두 개의 구체적 시나리오를 설정했다. 각 시나리오당 30개의 기본 프롬프트를 변형해 총 960개의 초기 사용자 발화를 생성하고, 이를 User LLM(Gemini 1.5 Pro)과 Target LLM 사이에 5턴 대화로 확장했다.

둘째, 평가의 확장성을 확보하기 위해 완전 자동화 파이프라인을 구축했다. Target LLM의 4,800개 메시지(각 모델당 5턴 × 960)마다 13가지 행동을 판별하도록 세 종류의 Judge LLM(gemini‑1.5‑flash‑002, claude‑3‑5‑sonnet, gpt‑4‑turbo)을 활용했다. 각 Judge LLM은 행동 정의와 부정 예시를 포함한 few‑shot 프롬프트를 받아, 3번의 샘플링을 통해 이진 라벨과 설명을 출력한다. 최종 라벨은 세 샘플 중 다수결(mode)로 결정했으며, 이는 라벨링 일관성을 높이는 동시에 인간 라벨러 비용을 크게 절감한다.

셋째, 자동 측정의 구성을 검증하기 위해 대규모 인간 실험을 진행했다. 참가자 1,101명에게 ‘고인간화’ 모델과 ‘저인간화’ 모델 중 하나와 실제 대화를 나누게 한 뒤, 사후 설문에서 인지된 인간화 정도(내재된 감정, 의도, 자아 등)를 측정했다. 실험 결과, 자동 라벨링된 행동 빈도와 인간 참여자들의 주관적 인식 사이에 강한 상관관계가 나타났으며, 특히 2~5턴 구간에서 새롭게 등장한 행동이 인간 인식에 큰 영향을 미치는 것으로 확인되었다.

기술적 강점으로는 (1) 다중 턴 시뮬레이션을 통한 행동 발현 시점 분석, (2) 다중 Judge LLM을 활용한 라벨링 신뢰도 확보, (3) 인간 실험과의 교차 검증을 통한 외적 타당성 입증을 꼽을 수 있다. 한편 제한점으로는 User LLM이 하나의 모델(Gemini 1.5 Pro)로 고정돼 있어 사용자 다양성(문화·언어·성격 차이) 반영이 부족하고, 5턴이라는 상대적으로 짧은 대화 길이가 장기 상호작용에서 나타날 수 있는 인간화 행동을 완전히 포착하지 못할 가능성이 있다. 또한 행동 정의가 텍스트 기반 콘텐츠에 국한돼 음성·시각·제스처 등 멀티모달 신호와의 연계가 미비하다.

이 연구는 LLM 설계 단계에서 인간화 행동을 의도적으로 조절하거나 제한할 수 있는 메트릭을 제공함으로써, 윤리·안전 가이드라인 수립에 실질적 근거를 제공한다. 특히 관계‑구축 행동이 사용자 신뢰와 정서적 연결을 강화하는 동시에 과도한 의존성을 초래할 수 있음을 보여, 정책 입안자는 모델 배포 시 행동 빈도와 사용 도메인별 위험도를 함께 고려해야 함을 시사한다.