ORBIT: 메타‑RL로 키운 LLM의 인‑컨텍스트 온라인 학습 능력

초록

ORBIT는 다중 에피소드 메타‑강화학습을 통해 사전학습된 LLM이 컨텍스트만으로 새로운 환경에서 탐색·학습·활용을 반복하도록 훈련한다. 14 B 규모의 Qwen3 모델을 메타‑학습시켜, 보지 못한 미로·마스터마인드 등에서 GPT‑5.2 수준의 성능을 달성하고, 모델 크기 확대에 따라 지속적인 이득을 확인했다.

상세 분석

본 논문은 “인‑컨텍스트 온라인 학습”이라는 문제 정의를 명확히 하고, 이를 해결하기 위한 메타‑RL 프레임워크 ORBIT를 제시한다. 핵심 아이디어는 에피소드마다 환경이 초기화되지만, 이전 에피소드에서 얻은 상호작용 기록을 컨텍스트 윈도우에 그대로 유지하도록 하여, 모델이 “학습‑학습”(learn‑to‑learn) 메커니즘을 내부적으로 구현하도록 하는 것이다. 이를 위해 저자들은 (1) 다양한 부분관측 MDP(마인스위퍼, 행맨, 워들, 블랙잭 등)와 (2) 에피소드 수 T = 3 ~ 5를 포함하는 멀티‑태스크 훈련 셋을 구축하였다. 보상 설계는 모든 태스크에 일관된 0‑1 성공 보상을 사용해 스케일 차이를 없애고, 에피소드 전체 성공 횟수를 최대화하도록 정의하였다. 정책 최적화에는 Group Relative Policy Optimization(GRPO)을 적용해, 동일 태스크 내 K개의 샘플 궤적을 그룹화하고 평균 보상으로 베이스라인을 만든 뒤, PPO‑스타일 클리핑으로 안정적인 업데이트를 수행한다. 실험 결과, 14 B Qwen3 모델은 메타‑학습 후 보지 못한 미로와 마스터마인드 환경에서 GPT‑5.2와 동등한 성공률을 보였으며, 전통적인 파라미터‑업데이트 기반 RL 파인튜닝보다 크게 앞섰다. 또한 모델 크기를 7 B, 14 B, 34 B로 확대했을 때 성능이 꾸준히 상승함을 확인해, “학습‑학습” 능력이 모델 규모와 직접적으로 연관됨을 시사한다. 중요한 점은 외부 메모리나 복잡한 프롬프트 엔지니어링 없이 순수히 메타‑RL만으로도 LLM이 인‑컨텍스트 탐색·추론·활용을 수행할 수 있다는 점이다. 한계로는 현재 컨텍스트 길이 제한으로 에피소드 수와 히스토리 규모가 제한적이며, 복잡한 장기 의존성을 요구하는 환경에서는 추가 메모리 보조가 필요할 수 있다. 향후 연구는 더 긴 컨텍스트, 계층적 메타‑학습, 그리고 실제 웹·툴 인터페이스와의 연계 등을 탐색할 여지가 있다.