정책 표현 학습을 통한 조정 가능한 행동 합성

초록

본 논문은 마코프 결정 과정(MDP)에서 정책을 점유율(occupancy) 측정값의 기대값으로 표현하고, 이를 집합 기반 신경망으로 근사한다. 변분 오토인코더와 대비 학습을 결합해 잠재 공간을 부드럽고 가치 함수 차이에 일치하도록 설계함으로써, 테스트 시에 잠재 벡터를 직접 최적화해 새로운 가치 제약을 만족하는 정책을 즉시 생성할 수 있다.

상세 분석

이 연구는 정책을 직접 다루기 어려운 문제를 “정책 → 고정 차원 벡터”라는 매핑으로 전환한다는 점에서 의미가 크다. 저자는 점유율 측정 dπ(s,a)가 정책을 완전히 정의한다는 사실을 이용해, 상태‑행동 특성 맵 f(s,a)를 점유율에 대해 기대한 값 hπ=E_{dπ}