최대우도 역강화학습 성능 비교와 분석

초록

본 논문은 역강화학습(IRL)에서 보상 함수를 추정하기 위한 두 가지 대표적인 그래디언트 기반 방법, 즉 정책 제곱오차 최소화와 최대우도 근사 방법을 상세히 비교한다. 각 방법의 목표 함수, 그래디언트 근사 단계, 계산 복잡도, 그리고 학습된 보상이 실제 정책과 얼마나 일치하는지를 실험적으로 평가한다. 실험 결과는 최대우도 기반 방법이 보상 추정 정확도와 정책 재현성에서 우수하지만, 계산 비용이 더 크게 발생함을 보여준다.

상세 분석

역강화학습은 전문가의 시연으로부터 최적 정책을 복원하고, 이를 통해 MDP의 보상 함수를 역추정하는 문제이다. 기존 연구에서는 정책 제곱오차(Policy Squared Error, PSE)를 최소화하는 그래디언트 방법이 널리 사용되어 왔으며, 이는 현재 정책과 전문가 정책 사이의 차이를 직접 최소화함으로써 보상을 업데이트한다. 그러나 PSE는 정책 자체를 미분 가능한 형태로 근사해야 하는데, 이 과정에서 근사 오차가 누적될 위험이 있다. 반면, 최대우도(MLE) 접근은 관찰된 행동 시퀀스가 주어진 보상 하에서 최적 정책에 의해 생성될 확률을 최대화하는 것을 목표로 한다. 논문에서는 MLE의 정확한 그래디언트를 계산하기 어려운 점을 인식하고, 상태‑액션 가치 함수와 정책 파라미터 사이의 연쇄법칙을 이용해 근사 그래디언트를 도출한다. 이때 사용되는 근사는 정책 파라미터에 대한 로그우도 미분을 가치 함수의 기대값 형태로 변환함으로써, 정책의 변동성을 보다 정밀하게 반영한다. 두 방법 모두 보상 파라미터를 연속적인 함수 형태(예: 선형 보상)로 가정하고, 역전파를 통해 업데이트한다. 계산 복잡도 측면에서 PSE는 정책을 직접 비교하므로 한 번의 에피소드에 대해 O(|S||A|) 수준의 연산이 필요하지만, MLE는 로그우도와 기대값을 계산하기 위해 추가적인 샘플링 혹은 동적 계획 단계가 요구되어 O(|S|^2|A|)에 근접하는 비용이 발생한다. 실험에서는 GridWorld, MountainCar, 그리고 실제 로봇 궤적 데이터 등 다양한 도메인에서 두 알고리즘을 적용하였다. 결과는 MLE가 보상 함수의 회복 정확도와 학습된 정책의 전문가 정책과의 유사도에서 일관되게 우수함을 보여준다. 특히, 복잡한 상태 전이 구조를 가진 환경에서는 PSE가 지역 최소점에 빠지는 경향이 관찰되었다. 그러나 MLE는 샘플 효율성이 낮아 동일한 성능을 얻기 위해 더 많은 시연 데이터가 필요하며, 계산 시간도 현저히 증가한다. 따라서 실시간 혹은 제한된 연산 자원을 가진 응용에서는 PSE가 실용적일 수 있다. 논문은 이러한 트레이드오프를 정량화하고, 선택적 하이퍼파라미터 튜닝이 두 방법 모두 성능에 미치는 영향을 상세히 분석한다.