LLM과 인간, 서로 다른 규약을 만든다

초록

본 연구는 인간·LLM·인간‑LLM 혼합 3가지 파트너십에서 시각적 레퍼런스 게임을 수행해 대화 규약 형성을 비교한다. 인간‑인간(H‑H)과 AI‑AI(AI‑AI) 쌍은 정확도 상승·길이 감소·어휘 중복 증가라는 전형적 규약 징후를 보였지만, 인간‑AI(H‑AI) 쌍은 길이는 인간 수준에 맞춰지지만 정확도와 어휘 중복이 크게 뒤처졌다. 실험2에서는 LLM에게 “인간처럼 행동하라”는 프롬프트를 추가했지만, 정확도와 어휘 일치는 여전히 H‑H 수준에 미치지 못했다. 결과는 LLM이 통계적 학습으로 형태적 일관성은 만들 수 있으나, 인간과 공유하는 의미 해석·자원 민감성 같은 깊은 인지·사회적 편향은 부족함을 시사한다.

상세 분석

이 논문은 대화에서 형성되는 ‘규약(convention)’을 시각적 레퍼런스 게임(탱그램)으로 측정한다. 실험1에서는 3가지 파트너십(H‑H, H‑AI, AI‑AI)을 50턴, 5블록에 걸쳐 비교했으며, 정확도(매치 성공률), 발화 길이(단어 수), 어휘 중복(Jaccard similarity)이라는 세 가지 지표를 사용했다. H‑H 쌍은 초기 정확도 81%에서 93%까지 상승하고, 발화 길이는 20단어에서 6단어로 급감했으며, 어휘 중복은 0.23에서 0.43으로 증가했다. 이는 기존 인간‑인간 레퍼런스 게임 연구와 일치한다. AI‑AI 쌍도 정확도는 56%에서 99%까지 급상승했지만, 발화 길이는 58→56단어로 거의 변하지 않았다. 어휘 중복은 처음부터 높았으며, 블록이 진행될수록 인간보다 더 높은 값을 유지했다. 이는 LLM이 토큰 예측 기반의 인‑컨텍스트 학습으로 이전 발화를 거의 그대로 재생산해 일관성을 확보하지만, ‘자원 민감성’(길이 감소 압력)이 부족함을 보여준다.

H‑AI 쌍은 가장 낮은 성과를 보였다. 초기 정확도 54%는 인간‑인간보다 크게 뒤처졌고, 블록 5에서도 70% 수준에 머물렀다. 발화 길이는 인간 수준(≈20→10단어)으로 감소했지만, 어휘 중복은 0.23→0.30에 그쳐 AI‑AI와 인간‑인간 사이에 끼어 있었다. 특히 AI가 디렉터 역할을 할 때 인간 매처가 이전 성공 여부에 민감하게 반응하지 않아, 성공적인 턴 이후 어휘 중복이 크게 증가하지 않았다(p=0.307). 이는 LLM이 인간 파트너의 피드백을 의미론적으로 해석하거나, 성공/실패 신호를 모델 내부의 상태 업데이트에 활용하지 못한다는 점을 시사한다.

실험2에서는 LLM에게 “인간처럼 짧고, 비유적이며, 협력적으로 답하라”는 프롬프트를 추가했다. 결과적으로 H‑AI와 AI‑AI 모두 발화 길이는 인간‑인간 수준으로 단축됐지만, 정확도와 어휘 중복은 여전히 인간‑인간에 미치지 못했다. AI‑AI는 정확도와 중복에서 여전히 우수했지만, 길이 감소가 거의 없었다. 이는 ‘형식적’ 규약(길이, 토큰 재현)과 ‘의미적’ 규약(공유된 해석, 비유 사용) 사이의 차이를 드러낸다. 인간은 비유적(analogical) 표현을 68% 사용해 의미를 압축하지만, AI는 기하학적(geometric) 혹은 혼합(mixed) 표현을 주로 사용한다. 이러한 스타일 차이는 어휘 중복을 낮추고, 인간 파트너가 AI의 설명을 빠르게 추론하기 어렵게 만든다.

논문은 LLM이 통계적 학습만으로는 인간과 같은 ‘협력적 의도’와 ‘공통 의미 프레임’을 형성하기 어렵다는 점을 강조한다. 인간은 대화 비용(시간, 인지 부하)을 최소화하려는 메타적 압력과, Grice의 협력 원칙에 기반한 ‘의미적 기대’를 가지고 있다. 반면 LLM은 비용에 대한 내재적 제약이 없으며, 훈련 목표가 주로 토큰 정확도와 인간 피드백에 기반한 보상( RLHF)이라 의미적 일관성보다 형태적 재현에 치중한다. 따라서 LLM이 인간과 자연스럽게 규약을 형성하려면, 단순 프롬프트 조정이 아니라 ‘공유된 의미 해석 메커니즘’과 ‘자원 민감성’(예: 토큰 비용 페널티) 등을 모델에 내재화해야 할 필요가 있다.

이 연구는 LLM‑인간 상호작용 설계 시, 단순히 인간처럼 보이게 하는 것이 아니라, 인간이 기대하는 의미적, 사회적 신호를 모델이 실제로 활용하도록 하는 방향을 제시한다.