베이지안 학습으로 노이즈 마르코프 의사결정 과정 이해

초록

이 논문은 상태·행동 데이터로부터 제어자를 복제·예측하는 역강화학습 문제를 마르코프 의사결정 과정(MDP) 구조에 기반한 베이지안 통계 모델로 접근한다. 잠재 변수와 파라미터를 동시에 추정하기 위해 파라미터 확장 기법을 포함한 새로운 MCMC 샘플러를 설계하고, 수렴성을 개선한다. 인간 조종 데이터를 실험에 적용해 모델의 실효성을 검증한다.

상세 분석

본 연구는 역강화학습(inverse reinforcement learning, IRL) 문제를 확률론적 관점에서 재정의한다. 전통적인 IRL은 보상함수를 직접 추정하거나 최적 정책을 복원하는데 초점을 맞추지만, 저자는 관측된 상태‑행동 시퀀스를 MDP의 전이 확률과 정책(소프트맥스 형태)으로 구성된 확률 모델로 간주한다. 여기서 핵심은 관측 데이터에 포함된 ‘노이즈’를 명시적으로 모델링한다는 점이다. 구체적으로, 정책은 베타 파라미터 β에 의해 조절되는 소프트맥스 함수로 표현되며, β가 클수록 최적 행동에 가까워지고, 작을수록 무작위성에 가까워진다. 이러한 구조는 베이지안 프레임워크 내에서 사전분포와 결합해 사후분포를 형성한다.

베이지안 추론을 수행하기 위해 저자는 잠재 변수인 보상 함수 R과 정책 파라미터 β를 포함한 전체 파라미터 벡터 θ를 정의한다. 사후분포 p(θ|데이터)는 직접 계산이 어려우므로, 마르코프 연쇄 몬테카를로(MCMC) 방법을 도입한다. 특히, 파라미터 확장(parameter expansion, PX) 기법을 적용해 샘플링 효율을 크게 향상시킨다. PX는 기존 파라미터 공간에 보조 변수를 도입해 제안 분포의 적합성을 높이고, 자동적으로 스케일링 문제를 완화한다. 이 과정에서 Gibbs 샘플링과 Metropolis‑Hastings 단계가 교차적으로 수행되며, 보상 함수는 사전으로 가우시안 혹은 라플라시안 구조를, β는 감마 분포를 사용한다.

수렴성 분석에서는 표준 MCMC 대비 PX‑MCMC가 자동 상관 시간(autocorrelation time)을 현저히 감소시켜, 동일한 계산 비용에서 더 많은 유효 샘플을 얻는 것을 실험적으로 확인한다. 또한, 모델 검증을 위해 예측 정확도와 로그우도(Likelihood)를 사용해 베이스라인인 최대우도 추정(MLE) 및 기존 IRL 방법과 비교한다. 인간 파일럿이 수행한 조종 데이터를 대상으로, 제안된 베이지안 모델이 실제 행동을 높은 확률로 재현하고, 보상 구조를 해석 가능하게 추정함을 보인다.

이 논문의 주요 기여는 다음과 같다. 첫째, 노이즈가 포함된 행동 데이터를 MDP 기반 베이지안 모델로 일관되게 다루어, 보상과 정책을 동시에 추정한다. 둘째, 파라미터 확장을 통한 MCMC 설계가 고차원 잠재 변수 공간에서 효율적인 샘플링을 가능하게 하여, 실용적인 IRL 적용을 촉진한다. 셋째, 인간 제어 행동에 대한 실증 분석을 통해 모델의 해석 가능성과 예측력을 입증한다. 이러한 접근은 로봇 학습, 인간‑기계 인터페이스, 자율 시스템 등에서 관찰된 행동을 기반으로 목표와 의도를 추론하는 데 유용하게 활용될 수 있다.