LLM은 대화 상대의 말투를 따라한다: 언어 수렴 현상의 정밀 분석

초록

본 연구는 16개 대형 언어 모델을 세 가지 영어 대화 코퍼스에 적용해, 인간 대화와 비교한 스타일 수렴 정도를 측정한다. 모델은 대체로 대화 상대의 길이, LIWC 기능어, 고유명사 겹침, 토큰 신선도 등 네 가지 스타일 지표에서 인간보다 더 강하게 수렴하지만, 모델 규모와 instruction‑튜닝 여부에 따라 수렴 강도가 달라진다.

상세 분석

이 논문은 언어 수렴(linguistic convergence)을 정량화하기 위해 인간‑모델 대화 상황을 인위적으로 재현한다. 기존 대화 코퍼스( DailyDialog, NPR 인터뷰, 영화 스크립트)에서 최소 6턴 이상인 대화를 선택하고, 모델에게 특정 턴(예: 6번째 턴)부터 인간 발화를 대체하도록 프롬프트한다. 이렇게 하면 모델이 실제 인간 사용자의 직전 발화(rₜ₋₁)를 직접 보고 응답을 생성하므로, 인간‑모델 상호작용에서 나타나는 수렴 현상을 자연스럽게 관찰할 수 있다.

수렴 정도를 측정하기 위해 네 가지 스타일리틱 지표를 도입했다. 첫째, Utterance Length는 현재 모델 응답과 직전 인간 발화의 길이 차이를 대칭 비율(LSM)로 환산한다. 둘째, LIWC Agreement는 LIWC 2007 사전의 8가지 기능어 카테고리(인칭 대명사, 관사, 접속사 등)에 대해 동일 비율을 계산하고 평균값을 구한다. 셋째, PROPN Overlap은 모델 응답과 직전 발화 사이의 고유명사 겹침 비율을 측정해 주제 일치 정도를 추정한다. 넷째, Token Novelty는 모델이 새롭게 생성한 토큰 비율을 계산해 어휘 정렬 정도를 파악한다.

실험에 사용된 모델은 두 개의 오픈소스 패밀리(Gemma와 Llama 3)이며, 각각 1B~70B 파라미터 규모와 사전학습(pretrained)·지시튜닝(instruction‑tuned) 버전을 포함한다. 모든 모델은 HuggingFace에서 8‑bit 양자화된 체크포인트를 이용해 추론했으며, 동일한 프롬프트와 대화 히스토리를 제공받았다.

결과는 크게 두 가지 패턴을 보인다. 첫째, 대부분의 모델은 인간 기준보다 높은 수렴 점수를 기록했으며, 특히 토큰 신선도와 고유명사 겹침에서 인간보다 더 강하게 상대 발화에 맞추는 경향을 보였다. 이는 모델이 컨텍스트를 과도하게 복제하거나, “over‑fitting”하는 현상으로 해석될 수 있다. 둘째, 모델 규모와 튜닝 방식에 따라 수렴 강도가 달라졌다. 큰 파라미터를 가진 모델(예: Llama 3 70B)과 instruction‑tuned 버전은 일반적으로 낮은 수렴 점수를 보였으며, 이는 사전학습 단계에서 학습된 일반화 능력이 지시 튜닝을 통해 인간‑유사한 적응성을 억제했을 가능성을 시사한다.

또한, 데이터셋 별 차이도 눈에 띈다. DailyDialog과 NPR에서는 LIWC 카테고리 전반에 걸쳐 유의미한 수렴이 관찰됐지만, 영화 스크립트에서는 고유명사 겹침과 토큰 신선도 외에 다른 지표에서 거의 차이가 없었다. 이는 영화 대본이 작가에 의해 사전 설계된 비자연적 대화이기 때문에, 인간 화자 간의 자연스러운 수렴 패턴이 약해지는 것으로 해석된다.

논문은 이러한 결과를 바탕으로 LLM의 수렴 메커니즘이 인간과 근본적으로 다르다는 가설을 제시한다. 인간은 사회적 관계, 정체성, 대화 목적 등에 따라 선택적으로 수렴하지만, 현재 LLM은 훈련 데이터에 내재된 통계적 패턴을 그대로 재현하거나, 프롬프트에 의해 강제된 컨텍스트 복제에 의존한다. 따라서 모델이 과도하게 수렴하면 대화의 다양성과 창의성이 저해될 위험이 있다.

마지막으로, 저자들은 향후 연구 방향으로 (1) 수렴을 제어할 수 있는 디코딩 전략 개발, (2) 사용자 의도와 감성에 맞춘 적응형 튜닝, (3) 인간‑모델 상호작용에서 수렴이 대화 만족도와 신뢰도에 미치는 영향을 실험적 방법으로 검증하는 것을 제안한다.