최대우도 강화학습

초록

본 논문은 이진 성공 피드백을 갖는 샘플링 기반 문제에서 기존 강화학습이 실제 최대우도 목표를 근사하지 못함을 지적하고, 추가 샘플링 연산을 통해 점진적으로 최대우도에 수렴하는 새로운 프레임워크 MaxRL을 제안한다. 무편향 정책 그래디언트 추정기를 이용해 계산량이 늘어날수록 목표 자체가 개선되며, 실험에서 기존 RL 방법들을 모두 능가하는 성능을 보였다.

상세 분석

논문은 먼저 모델이 이진 성공/실패 피드백을 받는 상황을 “정확도 기반 강화학습”이라고 정의하고, 이때 모델이 내재적으로 정의하는 성공 확률 pθ(x)를 최대우도(log pθ(x))와 기대 보상(pθ(x))라는 두 목표와 연결시킨다. 수식 (2)와 (3)에서 보듯, 최대우도는 로그 확률을 최적화하고, 강화학습은 성공 확률 자체를 최적화한다. 두 목표의 그래디언트 차이를 ∇θJ_RL = E_x