맞춤형 AI 조언으로 초보자도 Diplomacy 챔피언

초록

본 논문은 초보 플레이어의 전략을 향상시키기 위해 자연어 기반 AI 조언 시스템 PHOLUS를 개발하고, 12개의 Diplomacy 경기에서 조언 종류(이동·메시지·동시)별 효과를 실험하였다. 조언을 받은 초보자는 경험자와 비슷한 점수를 획득했으며, 조언을 단순히 읽는 것만으로도 성과가 개선되는 것을 확인했다. 전문가들은 조언을 거의 따르지 않았지만, 전체적인 게임 결과에 긍정적인 영향을 미쳤다.

상세 분석

PHOLUS는 기존 최고 성능 Diplomacy AI인 CICERO의 움직임과 대화 전략을 활용해, 플레이어의 현재 의도와 과거 메시지를 실시간으로 분석하고 맞춤형 이동·메시지 조언을 제공한다. 실험 설계는 네 가지 조언 조건(조언 없음, 메시지 조언, 이동 조언, 복합 조언)을 무작위로 할당하고, 초보자와 베테랑을 각각 41명씩 모집해 12게임, 1 070턴, 117시간의 데이터를 수집하였다. 정량적 분석에서는 선형 회귀 모델을 통해 ‘조언 없음’이 -0.05의 음의 계수를 보이며 성과를 저해함을 확인했고, 이동 조언은 약 +0.02, 복합 조언은 +0.04 정도의 긍정적 효과를 나타냈다. 특히 초보자는 이동 조언을 32.6% 수용하고, 메시지 조언을 6.3% 수용했으며, 베테랑은 각각 6.4%와 3.4%에 불과했다. 이는 초보자가 AI 조언에 더 개방적임을 의미한다. 또한 초반 평균 이동 일치도(agreement)가 80%였으나 턴 종료 시점에 10% 감소하고, 완전 일치(equivalence)도 46%→38%로 떨어져, 플레이어가 조언을 그대로 따르기보다는 부분적으로 참고한다는 점을 보여준다.

정성적 분석에서는 AMR(추상 의미 표현)과 SMATCH 점수를 이용해 실제 메시지와 AI 제안 메시지의 유사성을 측정하였다. 다수의 경우 SMATCH 점수가 0.7 이상으로 높은데, 이는 플레이어가 AI의 문구를 약간 변형해 사용한다는 것을 의미한다. 반면, 전략적 목표가 상충하는 경우(예: 이탈리아가 러시아와의 전투 후 터키에 협력 요청) SMATCH 점수가 0에 가까워 AI 조언을 완전히 무시하고 자체 전략을 고수한다는 점도 관찰되었다. 설문 조사 결과, 플레이어들은 조언이 “전략적 통찰을 제공한다”고 평가했으며, 특히 초보자는 조언을 통해 다른 플레이어와의 협상 방식을 개선했다는 의견이 다수였다.

제한점으로는 PHOLUS가 고수준 목표(예: 장기 동맹 형성)를 직접 모델링하지 못하고, CICERO의 최적 이동에 과도하게 의존해 공격적인 제안을 할 수 있다는 점을 들었다. 또한, 조언이 플레이어 의도와 완전히 일치하지 않을 경우 수용률이 급격히 떨어지는 현상이 발견되었다. 향후 연구에서는 의도 추론 모델을 강화하고, 조언의 범위와 구체성을 조절해 과잉 의존을 방지하는 방안을 모색해야 한다.