대형언어모델 기반 효율적 탐색을 위한 포스터리어 샘플링 구현

초록

본 논문은 최신 대형언어모델(LLM)을 활용해 고전적인 탐색 효율 알고리즘인 Posterior Sampling for Reinforcement Learning(PSRL)을 명시적으로 구현한다. LLM을 세 가지 원자적 서브루틴(후행분포 업데이트, 후행분포 샘플링, 샘플에 대한 최적 정책)으로 구성해 자연어 환경, 특히 Wordle과 같은 과제에서 데이터 효율적인 탐색을 달성한다. 실험 결과, 모델 용량에 따라 선형 regret와 누적 regret 차이가 나타나며, 기존 LLM 에이전트 설계가 갖는 탐색 한계를 극복한다는 점을 보여준다.

상세 분석

이 연구는 LLM을 단순히 행동을 생성하거나 프롬프트 기반으로 기존 RL 알고리즘을 모방하는 것이 아니라, 고전적인 베이지안 RL 알고리즘인 PSRL을 실제로 구현하는 새로운 패러다임을 제시한다. PSRL은 매 에피소드마다 현재 베이지안 사후분포에서 하나의 MDP 샘플을 추출하고, 그 샘플에 대해 최적 정책을 실행함으로써 탐색-활용 균형을 이론적으로 보장한다. 논문은 이를 세 개의 LLM 서브모듈로 분해한다. 첫 번째 모듈은 텍스트 형태의 “후행분포”를 유지·업데이트한다. 여기서는 상태‑행동 쌍에 대한 전이와 보상에 대한 불확실성을 자연어로 기술하며, 디리클레와 같은 통계적 분포를 언어로 표현해 방문 횟수를 암묵적으로 추적한다. 두 번째 모듈은 현재 후행분포를 입력받아 가능한 MDP 샘플을 생성한다. 이때 LLM은 전체 전이표를 직접 출력하거나, Wordle과 같이 목표 단어를 환경 프록시로 삼아 핵심 불확실성만을 요약한다. 세 번째 모듈은 샘플된 MDP에 대해 최적 행동을 선택한다. 간단한 경우에는 “현재 상태와 샘플을 제시하면 행동을 반환하라”는 프롬프트만으로 충분하지만, 복잡한 환경에서는 LLM이 내부적으로 짧은 계획을 수행하도록 설계한다. 실험에서는 deterministic과 stochastic 전이 함수를 가진 MDP, 그리고 자연어 기반 Wordle 게임을 사용했다. 결과는 GPT‑4o 기반 구현이 o1‑mini 대비 선형 regret을 보이며, 고성능 LLM이 사후분포의 정밀도와 정책 계획 능력에 직접적인 영향을 미친다는 것을 입증한다. 또한, 상태‑행동 공간이 커질수록 LLM의 계획 한계가 드러나며, 이는 향후 모델 규모와 프롬프트 설계 개선이 필요함을 시사한다. 이 논문은 LLM이 기존 RL 이론을 그대로 가져와 적용할 수 있음을 증명함으로써, 자연어 환경에서도 통계적으로 효율적인 탐색이 가능하다는 중요한 통찰을 제공한다.