소통이 협력을 이끈다 LLM 에이전트의 커리큘럼 대비 효과

초록

본 논문은 4인 스태그 헌트와 반복 공공재 게임에서 LLM 에이전트에게 단어 하나로 이루어진 “저가 대화(cheap talk)” 채널을 제공했을 때 협력이 급격히 증가함을 실증한다. 반면, 단계별 게임을 이용한 커리큘럼 학습은 설계에 따라 성능이 크게 저하될 수 있음을 보여준다. 특히 초기 단계에서 배신이 최적인 게임을 앞에 배치하면 “학습된 비관주의”가 형성되어 이후 협력 게임에서 급격한 성과 감소가 발생한다.

상세 분석

이 연구는 두 가지 전혀 다른 메커니즘—직접적인 커뮤니케이션과 커리큘럼 기반 경험 학습—을 비교함으로써 멀티에이전트 LLM 시스템에서 협력 유도 방법의 근본적인 차이를 드러낸다. 첫 번째 실험에서는 4인 스태그 헌트 게임에 한 단어의 비구속적 메시지를 허용했을 때, 이질적인 모델 조합에서도 협력 비율이 0%에서 96.7%로 급등한다. 이는 LLM이 ‘전략적 가치’를 인식하고, 서로의 신호를 신뢰하며, 공동 목표를 달성하기 위해 자연스럽게 언어를 활용할 수 있음을 시사한다. 특히 모델 패밀리별로 이미 내재된 협력 경향이 있었음에도, 커뮤니케이션이 없을 경우 협력률이 52.2%에 머물렀던 점은 ‘언어적 조정’이 협력 성공에 결정적 역할을 함을 강조한다.

두 번째 실험군은 2인 IPD → N인 IPD → 3라운드 IPGG → 10라운드 IPGG+P 순서로 구성된 커리큘럼을 적용했다. 동일한 게임 시퀀스를 다른 순서(스크램블) 혹은 일부 단계만 포함한 변형과 비교했을 때, 전체 커리큘럼이 평균 보상을 27.4% 감소시켰다. 특히, AI가 생성한 “전략 요약”이 초기 단계의 배신 전략을 강조하면서 에이전트가 ‘학습된 비관주의’를 형성한다는 정성적 증거가 제시되었다. 이는 에이전트가 초기 경험을 과도하게 일반화해, 장기 협력이 가능한 상황에서도 선제적 배신을 선택하게 만든다.

중립적인 교훈(“옵션을 신중히 고려”)을 삽입한 대조 실험에서는 평균 보상이 63.5% 회복되었으며, 배신에 대한 언급이 현저히 감소했다. 이는 커리큘럼 자체보다는 교훈 내용이 에이전트의 사전 신념을 왜곡한다는 점을 명확히 보여준다. 또한, “휴리스틱 과적합” 현상도 관찰되었는데, 에이전트가 특정 게임에서 학습한 간단한 규칙(예: 가장 낮은 기여자를 처벌) 을 상황에 맞게 조정하지 못하고 무조건 적용한다는 것이다.

마지막으로, 동일한 “저가 대화”를 IPGG+P에 적용했을 때, 보상 구조에 따라 협력 증가가 복지 감소로 이어질 수도 있음을 확인했다. 낮은 승수(1.6x)에서는 협력률이 71%로 상승했지만 평균 보상이 127.5 토큰으로 감소했으며, 높은 승수(4.0x)에서는 100% 협력과 함께 보상도 최적화되었다. 이는 커뮤니케이션이 전략적 조정 수단이지만, 최종 복지 효과는 게임의 인센티브 설계에 크게 좌우된다는 중요한 교훈을 제공한다.

요약하면, LLM 에이전트는 최소한의 언어 교환만으로도 복잡한 협력 문제를 해결할 수 있는 잠재력을 가지고 있지만, 커리큘럼 설계 시 초기 게임 선택과 교훈 내용이 에이전트의 신념 체계에 미치는 영향을 신중히 고려해야 한다.