RuleSmith 다중 에이전트 LLM을 활용한 자동 게임 밸런싱

초록

RuleSmith은 텍스트 기반 규칙서를 해석하고 게임 상태를 추론할 수 있는 다중 에이전트 LLM을 이용해 자동으로 게임 밸런스를 맞추는 프레임워크이다. 게임 엔진, LLM 자기 플레이, 베이지안 최적화를 결합해 파라미터 공간을 효율적으로 탐색하고, 승률 차이를 최소화하는 규칙 조합을 찾아낸다. CivMini라는 간소화된 문명 스타일 게임을 실험 대상으로 사용했으며, 실험 결과 균형 잡힌 파라미터 집합을 성공적으로 도출하고 해석 가능한 규칙 수정안을 제공한다.

상세 분석

RuleSmith은 기존 게임 밸런싱 연구가 인간 전문가의 반복적인 플레이테스트와 휴리스틱 튜닝에 의존하던 한계를 LLM 기반 시뮬레이션으로 극복한다는 점에서 혁신적이다. 핵심 아이디어는 두 가지 비대칭 파벌(Empire와 Nomads)을 각각 담당하는 LLM 에이전트를 “제로샷”으로 동작시키고, 이들이 생성한 행동 시퀀스를 게임 엔진에 입력해 실제 플레이를 재현한다는 것이다. LLM은 규칙서 텍스트와 현재 게임 상태를 자연어 형태로 받아들여, 규칙에 맞는 합법적인 행동을 선택한다. 이 과정에서 별도의 정책 학습이 필요 없으며, 모델 규모(2B, 8B)만 바꾸면 바로 적용 가능하다는 장점이 있다.

밸런싱 목표는 승률 차이를 최소화하는 손실 함수 L(θ)=|w_E‑0.5|+|w_N‑0.5|+0.5·w_D 로 정의된다. 여기서 w_E, w_N, w_D는 각각 Empire 승률, Nomads 승률, 무승부 비율이다. 파라미터 θ는 유닛 체력, 피해량, 생산 비용, 점수 가중치 등 게임 메커니즘을 수치화한 다차원 벡터이며, 대부분 이산값(정수형 HP 등)으로 구성된다.

베이지안 최적화는 연속형 완화 공간에서 가우시안 프로세스(또는 트리 기반 서프라이즈 모델)를 사용해 L(θ)의 샘플 효율적인 추정값을 만든다. 획득 함수(예: Expected Improvement)를 기반으로 후보 θ̂를 제안하고, 제안된 파라미터는 이산화 연산 D(·)를 통해 실제 게임에 적용 가능한 규칙 집합으로 변환된다. 중요한 점은 “적응형 샘플링”이다. 후보마다 평가에 할당되는 자기 플레이 게임 수 N_t 를 EI 값에 따라 동적으로 조정함으로써, 유망한 후보는 더 많은 시뮬레이션으로 정확히 평가하고, 탐색 단계의 후보는 적은 게임 수로 비용을 절감한다. 이는 LLM 기반 시뮬레이션이 비용·노이즈가 큰 블랙박스 평가임을 고려한 실용적 설계라 할 수 있다.

CivMini는 7×7 격자, 두 파벌, 농부·전사·기병·도시 등 제한된 유닛 타입을 갖는 최소화된 4X 게임이다. 파라미터화된 요소는 유닛 HP, 피해량, 이동 범위, 턴 제한, 점수 가중치(자원, 전투 승리, 생존 유닛) 등이다. 게임 종료는 한 파벌이 상대 도시를 파괴하거나 턴 제한에 도달했을 때 점수 기반 승패를 결정한다. LLM 에이전트는 각 턴마다 모든 유닛에 대해 GATHER, MOVE, BATTLE, PRODUCE 등 가능한 행동을 선택하고, 엔진은 규칙 위반을 차단한다.

실험에서는 초기 파라미터를 의도적으로 불균형하게 설정한 뒤 RuleSmith을 실행했다. 베이지안 최적화는 약 200300회의 후보 제안과 각 후보당 평균 2050게임 평가를 통해 승률 차이를 0%에 가깝게 수렴시켰다. 특히 8B 모델을 사용할 때는 2B 모델 대비 평가 변동성이 낮아 더 빠른 수렴을 보였다. 최적화된 파라미터는 “전사와 기병의 HP를 비슷하게 맞추고, 자원 생산 가중치를 상승시켜 Nomads의 공격 기반 전략을 보완한다”는 해석 가능한 규칙 변화를 제시한다. 이러한 규칙 조정은 실제 게임 디자이너가 직접 적용할 수 있는 형태이며, LLM이 제시한 이유 설명도 함께 제공한다.

한계점으로는 LLM의 추론 오류와 무작위성으로 인한 평가 노이즈가 존재한다는 점이다. 이를 완화하기 위해 더 많은 시뮬레이션을 할당하거나, 온도 파라미터를 조정해 결정성을 높일 수 있다. 또한 현재는 완전 관측 가능한 격자 게임에 국한돼 있어, 부분 관측, 복잡한 물리 엔진, 실시간 전략 게임 등으로 확장하려면 추가적인 프롬프트 설계와 도구 연동이 필요하다. 그럼에도 불구하고 RuleSmith은 규칙 기반 시스템의 자동 튜닝을 가능하게 하는 최초의 LLM‑베이지안 통합 프레임워크로, 게임 디자인뿐 아니라 정책 시뮬레이션, 경제 모델링 등 다양한 비대칭 시스템에 적용 가능성을 시사한다.