마르코프 모델을 탐색하는 결정적 세계의 학습 에이전트

초록

강화학습은 견고한 기반을 가지고 있지만, 부분적으로 관찰되는 (비마르코프) 환경에서는 비효율적이게 된다. 따라서 표현과 정책으로 태어난 학습 에이전트는 마르코프 성질이 어느 정도까지 유지되는지 조사하고자 할 수 있다. 우리는 조합적 정책 최적화를 활용하여 비마르코프성을 극복하고 효율적인 행동을 개발하며, 이는 쉽게 상속될 수 있으며, 행동 상태의 마르코프 성질을 테스트하고 결정론적 요인 분해 유한 상태 모델을 실행하여 비마르코프성에 대응하는 학습 아키텍처를 제안한다. 우리는 이러한 아키텍처의 특성을 거의 결정적인 Ms. Pac-Man 게임에서 설명한다. 우리는 진화적, 개별적, 사회적 학습 관점에서 이 아키텍처를 분석한다.

상세 요약

이 논문은 강화학습에 대한 새로운 접근 방식을 제안하고 있다. 특히 부분적으로 관찰되는 환경에서의 비효율성을 해결하기 위해, 에이전트가 스스로 마르코프 성질을 검증하고 이를 극복하는 방법을 탐구한다. 이는 조합적 정책 최적화를 통해 이루어지며, 결정론적 요인 분해 유한 상태 모델을 활용하여 비마르코프성을 보정한다. 이러한 접근 방식은 Ms. Pac-Man 게임이라는 거의 결정적인 환경에서 실험적으로 검증되었으며, 이는 에이전트의 학습 능력을 크게 향상시킨다.

논문은 진화적, 개별적, 사회적 학습 관점에서 아키텍처를 분석한다. 이러한 다각도의 접근 방식은 에이전트가 어떻게 환경을 이해하고 적응하는지에 대한 깊은 통찰력을 제공하며, 특히 부분적으로 관찰되는 복잡한 환경에서의 학습 능력 향상에 중점을 둔다. 이 연구는 강화학습의 한계를 극복하기 위한 중요한 단계로, 미래의 에이전트 개발 및 복잡한 문제 해결을 위한 기반을 마련한다.