플레이 트레이스에서 게임 메커니즘까지: 대형 언어 모델로 인과 규칙 역설계

초록

본 논문은 GVGAI 게임의 플레이 트레이스를 관찰해 Video Game Description Language(VGDL) 규칙을 복원하는 과제를 통해 대형 언어 모델(LLM)의 인과 추론 능력을 평가한다. 9개의 대표 게임을 선정하고, 직접 코드 생성 방식과 구조적 인과 모델(SCM) 중간 단계 방식을 비교한다. 다양한 프롬프트와 컨텍스트 수준을 실험한 결과, SCM 기반 파이프라인이 VGDL 재구성 정확도와 논리 일관성에서 우수했으며, 블라인드 평가에서 81%의 선호 승률을 기록했다.

상세 분석

이 연구는 인과 추론(causal induction)을 LLM의 새로운 활용 영역으로 제시한다. 기존 DRL 에이전트가 높은 성능을 보이지만 게임 메커니즘을 명시적으로 이해하지 못한다는 한계를 지적하고, 이를 해결하기 위해 게임 규칙을 구조화된 인과 모델(SCM) 형태로 중간에 추출한 뒤 VGDL 코드로 변환하는 두 단계 접근법을 제안한다.

먼저, GVGAI 프레임워크 내 116개 게임 중 80개를 대상으로 자연어 설명을 생성하고, S‑BERT 기반 임베딩과 K‑Means 클러스터링을 적용해 의미적으로 가장 대표적인 9개 게임을 선정했다. 이 과정은 평가 베이스라인의 다양성과 대표성을 확보하는 데 핵심적이며, 클러스터 수(k=9)를 최적화하기 위해 차원 축소와 정규화 기법을 광범위히 실험한 점이 주목할 만하다.

모델 선택 단계에서는 Qwen‑3‑8B를 초기 후보로 삼아 10개 게임에 대한 게임 식별 테스트를 수행했으며, 비용 대비 성능이 가장 우수함을 확인했다. 이후 동일 모델군(Qwen‑3‑8B, Qwen‑32B 등)과 4‑bit 양자화 버전을 포함한 여러 “reasoning” 모델을 비교해, 인과 추론 능력과 실행 효율 사이의 파레토 프론트를 도출했다.

핵심 실험은 두 가지 과업으로 구성된다. 첫 번째는 짧은 ASCII 그리드 트레이스를 보고 게임을 식별하는 다중 클래스 분류 과업이다. 여기서는 인간 전문가가 작성한 고품질 메커니즘 설명(Standard), 모델이 자체 정제한 설명(Cons), 게임 이름만 제공하는 파라메트릭 설명(Dest), 그리고 VGDL을 요약한 자연어(VGDL) 네 가지 프롬프트 변형을 사용해 모델의 기억 의존도와 실제 인과 이해도를 구분했다.

두 번째는 VGDL 합성 과업으로, 관찰 트레이스와 단계별 컨텍스트(Level 0~4)를 제공해 두 개의 병렬 스트림을 실행한다. 스트림 A는 관찰만으로 직접 VGDL 코드를 생성하고, 스트림 B는 동일 컨텍스트를 바탕으로 먼저 SCM(변수와 구조 방정식)을 서술한 뒤 이를 VGDL로 변환한다. 레벨 0은 순수 시각 정보만, 레벨 1은 VGDL 문법과 예시, 레벨 2는 게임 이름·자연어 설명, 레벨 3은 혼동 게임 설명 집합, 레벨 4는 부분적으로 삭제된 VGDL 파일을 제공한다.

실험 결과, SCM 기반 스트림이 전반적으로 높은 정확도와 논리적 일관성을 보였다. 특히 레벨 4(Completionist) 상황에서 모델이 누락된 InteractionSet과 TerminationSet을 정확히 복원하는 비율이 직접 생성보다 현저히 높았다. 블라인드 인간 평가에서는 SCM 결과물이 81%의 선호 승률을 기록했으며, 논리적 모순(예: 충돌 규칙이 물리 법칙과 상충) 발생 빈도도 크게 감소했다.

이 논문의 주요 기여는 (1) 의미적으로 다양하고 대표적인 GVGAI 베치마크 구축, (2) 자기 조건화(self‑conditioned) 평가 프레임워크를 통한 모델의 기억 vs. 이해 구분, (3) SCM‑중간 단계 파이프라인을 통한 인과 기반 코드 생성 메커니즘 제시이다. 또한, 학습된 SCM은 인과 강화 학습, 해석 가능한 에이전트 설계, 논리적으로 일관된 새로운 게임 자동 생성 등 다양한 downstream 작업에 활용 가능함을 시연한다.

전반적으로 이 연구는 LLM이 단순 텍스트 생성기를 넘어, 관찰 데이터로부터 구조적 인과 관계를 추론하고 이를 프로그래밍 언어 형태로 구현할 수 있음을 실증한다. 향후 연구에서는 더 복잡한 3D 게임 환경, 멀티‑에이전트 상호작용, 그리고 실제 인간 플레이어와의 인터랙션을 통한 인과 학습 확장이 기대된다.