비정상성에 강한 딥 강화학습을 위한 등방성 가우시안 표현

초록

이 논문은 비정상적인 학습 목표와 데이터 분포가 지속적으로 변하는 딥 강화학습에서, 등방성(동등한 분산) 가우시안 임베딩이 이론적으로 안정성을 보장한다는 것을 증명한다. 등방성 가우시안은 선형 읽기층에서 목표 추적 오류를 감소시키고, 고정된 분산 예산 하에서 엔트로피를 최대화하며, 모든 차원을 균등하게 활용한다. 이를 실현하기 위해 저자들은 스케치 기반 등방성 가우시안 정규화(SIGReg)를 제안하고, CIFAR‑10 라벨 교체 실험과 다양한 연속·이산 제어 환경에서의 RL 알고리즘에 적용해 표현 붕괴와 뉴런 휴면을 감소시키고 학습 안정성을 크게 향상시켰다.

상세 분석

본 연구는 비정상성(non‑stationarity)이라는 딥 RL 고유의 문제를 표현 기하학 관점에서 재조명한다. 저자들은 먼저 선형 크리틱 (Q_\theta(s,a)=w^\top\phi(s,a)) 위에 목표가 시간에 따라 변하는 상황을 수학적으로 모델링하고, 임베딩 (\phi) 의 공분산 (\Sigma_\phi(t)=\mathbb{E}