다양한 성격을 활용한 게임 테스트 혁신 MIMIC

초록

MIMIC은 대형 언어 모델에 플레이어 성격 특성을 결합해 게임 테스트 에이전트를 다중 전략으로 운영한다. 성격‑기반 플래너와 기억 시스템을 통해 동일 과제에 대해 다양한 행동 경로를 생성해 코드·분기 커버리지를 크게 향상시킨다.

상세 분석

본 논문은 기존 강화학습·모방학습·LLM 기반 게임 테스트 에이전트가 인간 플레이어의 성격에 따른 전략 다양성을 무시함으로써 테스트 커버리지가 제한된다는 문제를 지적한다. 이를 해결하기 위해 저자들은 ‘MIMIC’이라는 프레임워크를 제안한다. 핵심은 세 가지 LLM 모듈(Planner, Action Executor, Action Summarizer)과 비LLM 기반 Memory System의 결합이다. Planner는 PathOS에서 정의한 7가지 성격(성취, 아드레날린, 공격성, 신중, 완성, 호기심, 효율)을 프롬프트에 삽입해 성격‑특화된 행동 계획을 생성한다. 하이브리드 플래닝 기법을 도입해 Bottom‑Up(즉시 행동)과 Top‑Down(목표 분해) 방식을 동적으로 전환함으로써 장기 목표와 순간적인 환경 변화 모두에 적응한다. 또한, 플래너가 생성한 계획이 게임 내 정의와 불일치할 경우 Prompt Chaining과 검증 루프를 통해 수정한다. Action Summarizer는 실행 결과를 CoT 방식으로 평가·요약하고, 이를 Memory에 저장한다. Memory System은 과거 경험을 검색해 현재 플래너에 제공함으로써 일관된 성격 행동과 학습된 전략을 유지한다. Action Executor는 Plan‑to‑Code와 Plan‑to‑Parameters 두 가지 번역기를 제공해 다양한 게임 인터페이스에 대응한다. 특히, 코드 생성 시 발생할 수 있는 구문 오류·무한 루프 등을 LLM 기반 시간 할당 모듈로 완화한다. 실험에서는 두 개의 오픈소스 게임(소규모와 대규모)과 Minecraft에 MIMIC을 적용했다. 소규모 게임에서는 100% 조합 커버리지를 달성했으며, 대규모 게임에서는 기존 랜덤 베이스 대비 분기 커버리지가 1.30배, 조합 커버리지가 14.46배 향상되었다. Minecraft 테스트에서는 최신 LLM 기반 에이전트 ODYSSEY를 능가해 과제 완료율과 행동 다양성(8개 과제 중 6개) 모두 우수한 결과를 보였다. 이러한 결과는 성격‑기반 플래닝과 기억 기반 피드백이 테스트 에이전트의 탐색 범위와 신뢰성을 크게 확대함을 증명한다. 논문은 또한 PathOS 모델을 선택한 이유와 다른 성격 모델(예: Big Five, MBTI)의 한계를 논의하며, 성격‑게임 엔티티 매핑 과정을 상세히 제시한다. 마지막으로, 모든 프롬프트와 코드를 공개해 재현성을 확보하고 향후 연구 기반을 제공한다.