암묵적 모방을 통한 강화학습 가속화

초록

본 논문은 멘토(agent)의 행동을 직접 모방하지 않고, 관찰만으로 얻은 상태 전이 정보를 활용해 학습 에이전트가 자신의 가치 함수와 모델을 빠르게 업데이트하도록 하는 ‘암묵적 모방(implicit imitation)’ 프레임워크를 제안한다. 동질(동일 행동 집합) 및 이질(다른 행동 집합) 환경을 각각 다루는 두 구현을 제시하고, 이를 우선순위 스위핑(prioritized sweeping)과 결합해 단일·다중 멘토 상황에서 학습 속도와 수렴성을 크게 향상시킴을 실험적으로 입증한다.

상세 분석

논문은 강화학습 에이전트가 완전 관측 가능한 MDP 환경에서 멘토의 상태 전이( s → s’ )를 관찰함으로써, 직접적인 보상 신호 없이도 자신의 전이 모델 T̂와 보상 모델 R̂을 보강할 수 있음을 보인다. 동질 환경에서는 멘토와 학습자가 동일한 행동 집합 A를 공유하므로, 관찰된 (s, a, s’) 튜플을 그대로 자신의 모델에 삽입하고, 베르만 백업을 수행해 가치 함수 V를 즉시 개선한다. 여기서 핵심은 ‘증강 백업(augmented backup)’이라는 절차로, 멘토 전이를 기존 경험 샘플에 가중치 w를 부여해 우선순위 스위핑 큐에 삽입함으로써, 중요한 상태에 대한 업데이트를 빠르게 수행한다.

이질 환경에서는 행동 집합이 다르기 때문에 직접적인 매핑이 불가능하다. 저자는 ‘가능성 테스트(feasibility testing)’를 도입해 멘토의 전이가 학습자의 행동 집합에 의해 재현 가능한지를 판단한다. 만약 재현이 불가능하면 ‘k‑step repair’ 기법을 사용해 멘토가 거친 경로를 k 단계 내에서 근사하도록 새로운 행동 시퀀스를 생성한다. 이러한 절차는 멘토가 제공하는 정보가 오히려 학습을 오도하는 상황을 방지한다.

또한, 멘토 관찰을 통해 ‘주의 집중(attention focusing)’ 메커니즘을 구현한다. 멘토가 자주 방문하는 고가치 영역을 탐색 우선순위에 반영함으로써, 학습자는 희소한 보상 구조에서도 중요한 상태를 빠르게 탐색한다. 실험에서는 단일 멘토와 다중 멘토 시나리오 모두에서, 기존 우선순위 스위핑 대비 수렴 속도가 2~5배 가량 빨라졌으며, 최종 정책의 품질도 유지되거나 향상되는 결과를 보였다.

이 모델은 완전 관측, 동일 보상 함수, 그리고 멘토와 학습자 사이의 상태 매핑이 존재한다는 가정을 전제로 하지만, 논문 말미에서는 POMDP 확장, 보상 비공유, 그리고 비협조적 멘토에 대한 잠재적 확장 방향을 제시한다. 전반적으로 암묵적 모방은 명시적 지도학습이나 직접적인 통신이 어려운 다중 에이전트 시스템에서, 학습 효율을 크게 높일 수 있는 실용적인 메커니즘으로 평가된다.