선호 추정과 역강화학습 베이지안 접근

초록

이 논문은 역강화학습 문제를 선호 추정 문제로 재구성하고, 베이지안 통계 모델을 통해 에이전트의 보상 함수·정책·보상 시퀀스에 대한 사후 분포를 추정한다. 관찰된 행동이 최적이 아니더라도 정확한 선호를 복원하고, 복원된 선호에 기반한 개선된 정책을 얻을 수 있음을 실험적으로 입증한다.

상세 분석

본 연구는 역강화학습(IRL)을 전통적인 선호 추정(preference elicitation) 프레임워크와 연결함으로써 두 분야의 이론적 공통점을 명확히 제시한다. 저자는 에이전트가 마코프 결정 과정(MDP) 내에서 숨겨진 보상 함수 ρ와 할인 계수 γ에 따라 행동한다고 가정하고, 관찰된 상태·행동 시퀀스 D=(s₁:T,a₁:T)를 기반으로 베이지안 사전 ξ(·|ν)와 정책 사전 ψ(·|ρ,ν)를 정의한다. 여기서 ν는 전이 모델 T와 할인 계수를 포함한 환경 파라미터이며, 사전은 보상 함수와 정책 사이의 구조적 의존성을 반영한다.

두 가지 그래프 모델—기본 모델과 보상 확장 모델—을 제시하고, 각각에 대한 사후 분포 식을 유도한다. 기본 모델에서는 보상 함수와 정책을 공동으로 샘플링하는 메트로폴리스-헤이스팅(MH) 절차를 설계했으며, 정책을 소프트맥스 형태 π_η(a|s)=exp(ηQ⁎(s,a))/∑_a’exp(ηQ⁎(s,a’)) 로 제한해 η(역온도)와 ρ를 동시에 추정한다. 보상 확장 모델에서는 보상 시퀀스 r₁:T를 명시적으로 도입해 하이브리드 Gibbs 샘플러를 구성, 즉 ρ와 η를 MH 단계에서 제안하고, 주어진 ρ와 관측된 (s,a)로부터 r₁:T를 직접 샘플링하는 두 단계 절차를 수행한다. 이는 보상 함수 사전이 보상 분포와 공액(conjugate)일 경우 효율적인 추론을 가능하게 한다.

핵심 이론적 기여는 (1) IRL을 선호 추정 문제로 공식화함으로써 베이지안 관점에서 사후 불확실성을 정량화하고, (2) 정책이 최적이 아닐 경우에도 보상 함수를 정확히 복원할 수 있음을 보인 점이다. 특히, 소프트맥스 정책 가정 하에 η를 추정함으로써 “근근 최적”(near‑optimal) 정책에서도 충분히 강건한 보상 추정이 가능함을 증명한다.

실험에서는 GridWorld와 마찬가지로 간단한 마코프 환경을 사용해 기존의 최대 엔트로피 IRL, 베이지안 IRL, 그리고 선형 보상 모델 기반 방법들과 비교한다. 결과는 (i) 복원된 보상 함수의 평균 제곱 오차가 기존 방법보다 현저히 낮고, (ii) 복원된 보상에 기반해 새롭게 계산된 최적 정책이 원본 에이전트 정책보다 에이전트 자체의 유틸리티 관점에서 크게 향상됨을 보여준다. 특히, 관찰된 정책이 의도된 보상에 대해 서브옵티멀(sub‑optimal)일 때도 개선된 정책이 일관되게 우수함을 확인한다.

이 논문은 베이지안 IRL에 구조화된 사전과 정책‑보상 연관 모델을 도입함으로써, 기존 방법이 갖는 “정책이 최적이라는 가정”을 완화하고, 실제 인간 혹은 로봇 에이전트가 보이는 비최적 행동에서도 의미 있는 선호 정보를 추출할 수 있는 실용적 프레임워크를 제공한다. 또한, 보상 시퀀스를 직접 추정하는 확장 모델은 보상 자체가 관심 대상인 응용(예: 행동 경제학, 인간‑로봇 상호작용)에도 활용 가능성을 제시한다.