다중모드 제어를 위한 최대엔트로피 다항 정책 최적화

초록

MePoly는 다항식 기반 에너지 모델을 이용해 명시적인 확률밀도를 제공하는 정책 파라미터화 기법이다. 고차 다항 모멘트를 활용해 복잡하고 다중모드인 행동 분포를 정확히 표현하면서도 로그확률·엔트로피를 정확히 계산할 수 있다. 이론적으로 고전적 모멘트 문제와 최대엔트로피 원리를 결합해 임의의 분포를 보편적으로 근사함을 증명하고, 실험에서는 비선형·다중경로 환경에서 기존 가우시안, 가우시안 혼합, 흐름‑매칭 정책보다 우수한 성능을 보였다.

상세 분석

본 논문은 연속 제어 문제에서 “최대 엔트로피” 목표와 “다중모드” 행동 분포를 동시에 만족시키는 정책 클래스가 부족하다는 점을 지적한다. 기존 가우시안 정책은 단일 피크에 국한돼 모드 붕괴가 빈번하고, 최근 확산·플로우‑매칭 기반 정책은 샘플링은 가능하지만 명시적 확률밀도가 없어 엔트로피 항을 정확히 계산하기 어렵다. MePoly는 이러한 한계를 극복하기 위해 다항식 에너지 기반 모델(EBM)을 도입한다.

1. 다항식 에너지와 Legendre 기반
   • 행동 변수 a∈