롤아웃 없이 최대 엔트로피 탐색

초록

이 논문은 상태‑행동 방문 분포의 엔트로피를 직접 최대화하는 탐색 문제를, 롤아웃을 수행하지 않고도 특이값 분해와 고정점 반복을 통해 해결한다. 전이 행렬에 기반한 ‘틸트 행렬’의 우·좌 고유벡터를 이용해 최적 정책을 구하고, EVE(EigenVector‑based Exploration) 알고리즘을 제안한다. 수렴성을 보장하는 정리와 deterministic 그리드월드 실험을 통해 기존 롤아웃 기반 방법과 경쟁적인 성능을 입증한다.

상세 분석

본 연구는 탐색을 “정책이 유도하는 정상 상태 방문 분포의 엔트로피를 최대화”하는 문제로 정의하고, 이를 평균 보상 프레임워크에 내재시킨다. 핵심 아이디어는 엔트로피‑정규화된 평균 보상 목표를 ‘틸트 행렬’ ( \tilde P(s’,a’|s,a)=p(s’|s,a),\pi_0(a’|s’),e^{\beta r(s,a)} ) 로 표현함으로써, 퍼론‑프로베니우스 정리를 적용해 지배 고유값 ( \lambda=e^{\beta\theta^} )와 좌·우 고유벡터 (u, v) 를 구할 수 있다는 점이다. 좌 고유벡터 (u)는 최적 정책 ( \pi^(a|s)\propto \pi_0(a|s)u(s,a) ) 를, 우 고유벡터 (v)는 ‘준정상분포’ (d_{p,\pi^*}(s,a)=u(s,a)v(s,a)) 를 각각 인코딩한다.

이론적 전개에서 저자들은 고유벡터와 보상 (r(s,a)=-\log u(s,a)v(s,a)) 사이의 자기 일관성을 해결하기 위해, 고유벡터 방정식을 변형해 하나의 함수 (u) 만을 업데이트하는 고정점 연산자 (T) 를 도출한다. 구체적으로 β=1 일 때 로그‑공간에서의 업데이트는
( q(s,a)=\frac12\log\mathbb{E}{a’\sim\pi_0}e^{q(s’,a’)} -\frac12\log\sum{\bar s,\bar a}P(s,a|\bar s,\bar a)e^{-q(\bar s,\bar a)} )
와 같이, 미래 전이와 과거 전이를 각각 ‘소프트 최대’와 ‘소프트 최소’ 형태로 균형 맞춘다. 이는 할인 인자를 사용하지 않음에도 불구하고 수렴성을 유지하도록 설계된 비선형 퍼론‑프로베니우스 연산이다.

수렴성 정리는 힐버트 투사 거리(프로젝티브 메트릭)를 이용해 (T) 가 수축 사상임을 증명하고, β≥1 일 때 선형 수렴률 ( \kappa((P_{\pi_0})^m)^{1/m} ) 를 제시한다. 이론적 가정은 전이 확률이 비감소·비주기적이며, 사전 정책 ( \pi_0 ) 가 전이 행렬을 원시(primitive)하게 만든다.

정규화되지 않은 원문제(β→∞)에 대해서는 ‘후방 정책 반복(PPI)’을 적용해, 현재 정책이 만든 방문 분포의 엔트로피를 단조 증가시키면서 최적 정책에 수렴한다. PPI는 EVE 로부터 얻은 초기 정책을 기반으로, 매 반복마다 새로운 보상 (r=-\log d_{p,\pi}) 을 재계산하고 정책을 갱신한다.

실험에서는 결정론적 그리드월드 환경을 사용해, EVE 가 롤아웃 기반 카운트‑기반 탐색, 랜덤 네트워크 디스틸레이션 등과 비교해 동일하거나 더 높은 정상 상태 엔트로피를 달성함을 보였다. 특히, 롤아웃 없이도 정책을 직접 계산함으로써 샘플 효율성과 계산 효율성이 크게 향상되었다는 점이 강조된다.

전체적으로 이 논문은 탐색을 위한 엔트로피 최대화 문제를 선형 대수적 구조와 평균 보상 이론에 연결시켜, 롤아웃 의존성을 없애는 새로운 알고리즘적 패러다임을 제시한다. 다만, 전이 모델이 정확히 알려진 경우에만 적용 가능하다는 제한과, 비정형·확률적 환경에 대한 확장 가능성이 향후 연구 과제로 남는다.