LLM 기반 세계 모델, 단독 의사결정 가능하지만 철저한 평가 필요

초록

본 논문은 대형 언어 모델(LLM)을 세계 모델로 활용해 정책 검증, 행동 제안, 정책 계획 등 세 가지 독립적인 의사결정 과업을 수행할 수 있음을 실증한다. 31개의 다양한 텍스트 기반 환경에서 GPT‑4o와 GPT‑4o‑mini를 평가한 결과, GPT‑4o가 전반적으로 우수하지만 장기 의사결정·복합 도메인에서는 성능 저하와 불안정성이 관찰되었다. 저자는 이러한 현상을 설명하고, 향후 LLM 기반 세계 모델의 평가를 위한 체계적인 프레임워크를 제안한다.

상세 분석

이 논문은 기존 세계 모델 연구와 LLM 기반 시뮬레이션 연구를 연결하는 중요한 교량 역할을 한다. 먼저, MuZero·Dreamer와 같은 전통적인 모델 기반 강화학습이 “전이·계획·오프라인 학습”에서 뛰어난 성과를 보였음에도 불구하고, 실제 세계의 복합적인 규칙과 도메인 지식을 완전히 포괄하기는 어려웠다는 점을 지적한다. 최근 LLM이 방대한 텍스트 코퍼스를 통해 암묵적인 물리·사회·수학 지식을 내재하고 있다는 가정 하에, LLM을 명시적(예: RAP) 혹은 암시적(예: ToT) 세계 모델로 활용하는 시도가 늘어나고 있다.

논문은 두 가지 관찰을 통해 LLM 기반 세계 모델이 “단독으로” 의사결정을 내릴 수 있음을 보인다. 첫 번째 관찰은 행동 제안(action proposal)의 중요성이다. 기존 연구는 주로 다음 상태와 보상 예측에 초점을 맞추었지만, LLM은 풍부한 도메인 지식을 활용해 상위 K개의 잠재적 행동을 제시함으로써 플래닝 효율을 크게 높일 수 있다. 두 번째 관찰은 가치 함수(critic)를 배제하고도 플래닝이 가능하다는 점이다. 실제로 LLM이 제시한 행동 시퀀스와 상태 전이를 기반으로 탐색 알고리즘(MCTS 등)을 적용하면, 가치 추정이 부정확하거나 없더라도 올바른 정책을 도출할 수 있음을 실험적으로 확인한다.

평가 프레임워크는 정책 검증(policy verification), 행동 제안(action proposal), 정책 계획(policy planning)이라는 세 축으로 구성된다. 31개의 환경은 일상 생활(세탁, 요리)부터 과학·공학(키 제작, 금속 주조)까지 다양하며, 각 환경마다 규칙 기반 정책을 사전 정의해 LLM의 출력과 비교한다. 실험 결과는 다음과 같다.

1. 모델 성능 차이: GPT‑4o는 GPT‑4o‑mini에 비해 전반적인 정확도와 상위‑K 행동 제시 능력이 현저히 높았다. 특히 도메인 특화 지식이 요구되는 과학·공학 과제에서 차이가 크게 나타났다.
2. 핵심 단계 의존성: 전체 단계 수가 많다고 해서 난이도가 높아지는 것이 아니라, 특정 “병목 단계”에서의 예측 정확도가 최종 성공률을 좌우한다는 점을 발견했다. 이는 전통적인 MSE 기반 평가가 정책 성공을 예측하는 데 한계가 있음을 시사한다.
3. 기능 결합 불안정성: 세계 모델의 상태 예측·보상 예측·행동 제안 기능을 동시에 사용할 경우, 성능 변동성이 증가한다. 이는 서로 다른 서브모듈 간의 오류 전파가 복합적인 의사결정 결과에 영향을 미치기 때문이다.

또한, Figure 2에서 보여준 바와 같이, 더 정확한 수치 예측이 반드시 올바른 행동 선택으로 이어지지는 않는다. 이는 “예측 정확도 ≠ 정책 품질”이라는 중요한 교훈을 제공한다. 논문은 이러한 현상을 설명하기 위해, 정책에 직접적인 영향을 미치는 예측(예: 목표 상태 도달 여부)만을 평가 지표로 삼는 새로운 평가 방식을 제안한다.

전반적으로 이 연구는 LLM 기반 세계 모델이 기존 강화학습 기반 모델과 달리 “언어적 지식”을 활용해 복합적인 규칙을 추론하고, 행동 후보를 폭넓게 제시함으로써 플래닝 단계에서의 의존성을 감소시킬 수 있음을 입증한다. 그러나 현재의 LLM은 장기 시계열 예측에서 누적 오류가 크게 발생하고, 다중 기능 결합 시 불안정성이 존재한다는 한계도 명확히 드러난다. 향후 연구는 (1) 병목 단계에 대한 집중적인 fine‑tuning, (2) 모듈 간 오류 보정 메커니즘, (3) 정책 중심의 평가 지표 설계 등을 통해 이러한 문제를 극복해야 할 것이다.