딥 가우시안 프로세스를 이용한 역강화학습

본 논문은 역강화학습(IRL) 분야에서 보상 함수를 추정하기 위해 사전 정의된 특징에 크게 의존하는 기존 방법들의 한계를 극복하고자, 딥 가우시안 프로세스(Deep Gaussian Process, DGP)를 기반으로 한 새로운 모델을 제안한다. 1. **배경 및 문제점** - 전통적인 IRL은 보상 함수를 선형 결합 형태로 가정하거나, 비선형성을 도입하기 위해 복잡한 커널이나 논리 결합을 사용한다. 그러나 이러한 접근법은 특징 설계에 크게 의존하며, 데이터가 부족할 경우 과적합 위험이 있다. - 최근 Gaussian Process IRL(GPIRL)은 비선형 보상 함수를 비파라메트릭하게 모델링했지만, 여전히 고정된 특징 행렬 X 에 의존한다. 2. **제안 모델: DGP‑IRL** - **구조**: 두 개의 GP 층으로 구성된다. 첫 번째 GP는 원시 상태 특징 X (차원 m₀)를 잠재 특징 B (차원 m₁)로 변환한다. 두 번째 GP는 B 를 보상 r (각 상태에 대한 실수값)으로 매핑한다. 각 층은 가우시안 노이즈를 포함해 불확실성을 전달한다. - **IRL 엔진**: 보상 r 은 최대 엔트로피 IRL(MaxEnt) 모델을 통해 시연 데이터 M 과 연결된다. 즉, 정책 π 은 r 에 의해 정의된 Q‑값과 가치 V 을 이용해 확률적 행동 선택을 하며, 시연의 로그 가능도는 ∑ₕₜ