모델 기반 강화학습에서 탐색이 겪는 뜻밖의 난관

초록

본 논문은 모델 기반 강화학습(MBRL)에서 검색(search) 단계가 모델 정확도와 무관하게 성능 저하를 일으킬 수 있음을 실험과 이론을 통해 입증한다. 검색 과정에서 발생하는 분포 이동과 과대평가 편향을 완화하기 위해 가치 함수 앙상블의 최소값을 사용한 보수적 추정법을 도입한 MRS.Q 알고리즘을 제안하고, 50여 개의 벤치마크에서 기존 최첨단 방법들을 능가하는 결과를 보여준다.

상세 분석

이 논문은 기존 MBRL 연구가 모델 정확도 향상과 장기 예측 오류 감소에 초점을 맞추어 왔던 흐름을 비판한다. 저자들은 두 가지 핵심 가설을 제시한다. 첫째, 완벽한 동역학 모델과 가치 함수가 주어지더라도 탐색이 실패할 수 있다는 이론적 증명을 제시한다. 이를 위해 ‘흡수 N‑체인’ 환경을 고안하고, 무작위 샘플링 기반 탐색이 검색 깊이와 행동 공간 크기에 따라 성공 확률이 지수적으로 감소함을 수식 1‑(1‑1/Aⁿ)ᵐ 로 정량화한다. 두 번째 가설은 탐색이 학습 정책과 가치 함수 사이에 분포 이동(distribution shift)을 야기해 과대평가(overestimation) 편향을 초래한다는 것이다. 실제로 MR.Q와 TD‑MPC2 두 최신 알고리즘에 MPC(모델 예측 제어)를 적용했을 때, MR.Q는 성능이 급격히 저하되는 반면 TD‑MPC2는 개선되는 현상을 관찰했다. 이는 모델 정확도 자체가 탐색 성공을 좌우하지 않으며, 탐색 과정에서 수집된 데이터와 가치 함수가 학습에 사용되는 데이터 분포가 불일치하기 때문임을 시사한다.

이러한 문제를 해결하기 위해 저자들은 ‘최소값 앙상블(minimum over ensemble)’ 전략을 채택한다. 다수의 가치 함수 네트워크를 학습시킨 뒤, 탐색 시에는 가장 낮은 Q값을 사용해 보수적인 행동 가치를 추정한다. 이는 OOD(out‑of‑distribution) 행동에 대한 과대평가를 억제하고, 탐색이 만든 데이터와 가치 함수 학습 사이의 불일치를 완화한다. 제안된 MRS.Q는 동일한 하이퍼파라미터 설정으로 50여 개의 환경(DeepMind Control Suite, OpenAI Gym 등)에서 기존 모델‑프리 및 모델‑베이스 방법들을 일관되게 앞선다. 실험 결과는 특히 복잡한 연속 제어 과제에서 탐색이 제공하는 이점이 모델 정확도 향상보다 가치 함수의 보수적 추정에 크게 의존한다는 점을 강조한다.

이 논문은 MBRL에서 “탐색 = 플러그‑앤‑플레이”라는 오해를 바로잡고, 모델 정확도 개선만으로는 한계가 있음을 명확히 한다. 대신, 탐색과 가치 학습 사이의 상호작용을 정교하게 관리하는 것이 장기적인 성능 향상의 핵심이라는 새로운 연구 방향을 제시한다.