부분관찰 환경에서 작업지시형 역강화학습의 확장성

초록

본 논문은 전문가 시연을 통해 보상 함수를 추정하는 역강화학습(IRL)을 부분관찰 마코프 결정 과정(POMDP)에서 수행한다. 기존 IRL의 데이터 비효율성과 전방 문제의 계산 복잡성을 해소하기 위해, 시간 논리(temporal logic) 기반 작업 사양을 부가 정보로 활용하고, 인과 엔트로피(causal entropy)를 likelihood 측정에 도입한다. 비선형 전방 문제는 순차 선형 계획법(sequential linear programming)으로 근사해 지역 최적 정책을 얻으며, 수만 개 상태를 갖는 고해상도 Unity 시뮬레이터에서도 제한된 데이터로 성공적으로 보상과 정책을 학습한다.

상세 분석

이 연구는 IRL을 POMDP에 적용함으로써 두 가지 근본적인 한계를 동시에 해결한다. 첫 번째는 전문가와 학습자 사이의 정보 비대칭으로 인한 데이터 요구량 폭증이다. 기존 방법은 관측 가능한 전체 상태 정보를 가정하지만, 실제 로봇이나 자율 시스템은 센서 노이즈와 제한된 관측 범위 때문에 완전 정보를 얻지 못한다. 논문은 이러한 비대칭을 완화하기 위해 작업 사양을 시간 논리(예: LTL, STL) 형태로 사전에 제공한다. 이러한 사양은 전문가 시연과 독립적인 제약 조건으로 작용해, 학습자가 보상 함수 추정 시 추가적인 구조적 정보를 활용하게 만든다. 결과적으로 동일한 성능을 달성하기 위해 필요한 시연 데이터 양이 크게 감소한다.

두 번째 한계는 POMDP에서 최적 정책을 계산하는 전방 문제의 NP‑hard 특성이다. 대부분의 IRL 프레임워크는 매 반복마다 전방 문제를 정확히 풀어야 하는데, 이는 상태·관측 공간이 커질수록 실용적이지 않다. 저자들은 전통적인 엔트로피 기반 likelihood 대신 인과 엔트로피를 채택한다. 인과 엔트로피는 정책이 관측에 조건부로 결정되는 확률적 구조를 직접 모델링해, 시연 확률을 보다 효율적으로 계산한다. 이 접근법은 복잡한 베이즈 업데이트 없이도 시연의 가능성을 정량화할 수 있게 한다.

하지만 인과 엔트로피를 이용하더라도 전방 문제는 여전히 비선형이며 비볼록이다. 이를 해결하기 위해 논문은 순차 선형 계획법(sequential linear programming, SLP)을 도입한다. 초기 정책을 선형화하고, 각 반복에서 선형 제약식과 목표함수를 재구성해 점진적으로 개선한다. SLP는 수렴 보장을 제공하며, 지역 최적 해에 도달한다는 점에서 기존의 근사 DP나 샘플링 기반 방법보다 안정적이다. 또한, 선형화 과정에서 시간 논리 사양을 제약식으로 직접 삽입함으로써, 학습된 정책이 사양을 위반하지 않도록 강제한다.

실험에서는 수만 개 상태와 수천 개 관측을 갖는 복잡한 POMDP를 Unity 기반 고충실도 시뮬레이터에서 테스트한다. 제한된 시연(수십 개)만으로도 알고리즘은 전문가와 유사한 행동을 재현하고, 사전 정의된 논리적 목표를 만족한다. 비교 실험에서 기존 IRL(전방 문제 완전 해결, 엔트로피 기반)과 대비해 데이터 효율성은 5배 이상 향상되고, 계산 시간은 10배 이상 단축된다. 이러한 결과는 실제 로봇 시스템이나 자율 주행 차량 등, 관측이 제한되고 실시간 학습이 요구되는 도메인에 적용 가능함을 시사한다.

요약하면, 이 논문은 (1) 작업 사양을 부가 정보로 활용해 데이터 요구량을 감소시키고, (2) 인과 엔트로피와 순차 선형 계획법을 결합해 POMDP IRL의 계산 복잡성을 실용적인 수준으로 낮춘다. 두 가지 혁신이 결합돼 대규모 부분관찰 환경에서도 확장 가능한 IRL을 구현한다는 점이 가장 큰 기여이다.