언어로 목표를 표현하는 강화 학습의 새로운 방법, ACTRCE

초록

본 연구는 강화 학습(RL)의 주요 난제인 희소 보상 문제를 해결하기 위한 새로운 방법인 ACTRCE를 제안합니다. 기존의 Hindsight Experience Replay(HER) 방법을 확장하여, 자연어를 목표 표현으로 사용함으로써 보다 효율적이고 일반화 가능한 학습을 가능하게 합니다. 3D 내비게이션 등 복잡한 작업에서 기존 방법이 실패한 반면, ACTRCE는 성공적으로 학습하며, 훈련 중 보지 못한 지시어나 어휘로도 일반화할 수 있음을 실험을 통해 입증합니다.

상세 분석

ACTRCE의 핵심 기여는 HER 프레임워크에 자연어라는 추상적이고 유연한 목표 표현을 도입한 것입니다. HER는 실패한 경험을 다른 목표로 재라벨링하여 성공 경험으로 전환하는 아이디어를 사용하지만, 이를 위해서는 각 상태를 목표 공간으로 매핑하는 표현이 필요합니다. 기존 HER는 상태 공간의 부분 집합(예: 로봇 팔의 좌표)을 목표로 사용했으나, 이는 표현이 중복되고 정보가 제한적이라는 한계가 있었습니다.

ACTRCE는 ‘교사’ 모듈을 도입하여 에피소드 종료 시 에이전트가 도달한 상태를 자연어로 설명한 ‘조언’을 생성합니다. 예를 들어, 원래 목표인 “갑옷으로 가라"를 실패하고 “파란 횃불"에 도달했다면, 교사는 “파란 횃불로 가라"라는 조언을 합니다. 에이전트는 이 조언을 새로운 목표로 삼고 긍정적 보상을 받은 경험으로 재구성하여 재생 버퍼에 저장합니다. 이는 희소한 보상 신호를 효과적으로 증강시키는 메커니즘입니다.

기술적으로, 언어 목표는 원-핫 인코딩, 순환 신경망(GRU)을 통한 임베딩, 사전 훈련된 단어 임베딩 등으로 표현됩니다. 실험 결과, GRU와 사전 훈련 임베딩이 확장성과 일반화 능력에서 우수함을 보였습니다. 특히 사전 훈련 임베딩은 훈련 데이터에 없는 어휘가 포함된 지시어에 대해서도 유사한 의미를 가진 단어를 통해 일반화할 수 있는 능력을 보여주었습니다. 이는 언어의 구성적 특성과 의미적 유사성이 강화 학습 에이전트의 지식 전이에 기여할 수 있음을 시사합니다.

가장 주목할 만한 실험 결과는 교사의 조언(즉, 언어를 이용한 후견 경험 재라벨링)이 매우 적은 양으로도 학습 효율성을 극적으로 향상시킨다는 점입니다. 복잡한 3D VizDoom 환경에서 언어 기반 조언 없이는 에이전트가 전혀 학습하지 못한 반면, ACTRCE는 효율적으로 작업을 해결했습니다. 이는 실제 응용에서 인간의 피드백이나 자동 생성 설명과 같은 ‘조언’의 부담을 최소화하면서도 큰 효과를 거둘 수 있는 실용적인 가능성을 제시합니다.