첫 번째 차수 시간 논리 보상 사양과 HER 활용

초록

이 논문은 비마코프 보상을 위한 논리적 사양을 확장한 LTLfMT 프레임워크를 제안하고, 이를 연속 제어 환경에 적용하기 위해 보상 머신과 Hindsight Experience Replay(HER)를 결합한 방법을 제시한다. 제한된 이론 조각을 선택해 계산 가능성을 확보하면서도 복잡한 목표를 자연스럽게 표현할 수 있음을 실험을 통해 입증한다.

상세 분석

본 연구는 기존 LTLf 기반 보상 사양이 갖는 불리한 점, 즉 원자 명제가 단순 Boolean 변수에 국한돼 연속·이질적 상태를 직접 다루기 어렵다는 문제를 근본적으로 해결한다. 이를 위해 LTLfMT(LTL over finite traces Modulo Theories)를 도입해 원자 명제를 임의의 1차 논리식으로 확장하고, SMT 솔버를 활용해 실시간으로 진리값을 판단한다. 핵심은 ‘이론 조각(fragment)’을 정의해, (i) 이론 자체가 야기하는 비결정성 외에는 추가적인 복잡성이 없으며, (ii) 자동화된 오토마톤 변환이 가능하고, (iii) 실제 로봇·제어 과제에서 요구되는 거리, 식별자, 무게와 같은 복합 조건을 충분히 표현한다는 점이다.

이론적 기여는 두 부분으로 나뉜다. 첫째, LTLfMT의 일반적 정의와 기존 LTLf와의 관계를 명확히 하고, 첫 번째 차수(First‑Order) 논리식에 제한된 구문(예: 양화사 없는 산술·관계식)만 허용함으로써 decidability와 변환 효율성을 보장한다. 둘째, 이러한 제한된 논리식을 보상 머신(reward machine) 형태의 유한 오토마톤으로 변환하는 알고리즘을 제시한다. 변환 과정에서 각 상태는 SMT‑체크를 통해 현재 트레이스가 만족하는지 판단하고, 전이 조건은 논리식의 구조에 따라 자동으로 생성된다.

실제 적용에서는 연속 제어 환경에서 비선형 실수 산술(NRA) 이론을 선택한다. 여기서 가장 큰 도전은 ‘보상 희소성’이다. 논리식 기반 목표는 일반적으로 에피소드 말에만 만족하므로, 학습 초기에 유의미한 보상이 거의 발생하지 않는다. 이를 극복하기 위해 두 가지 보조 메커니즘을 결합한다. 첫 번째는 Counterfactual Experiences for Reward Machines(CRM)으로, 현재 트레이스가 목표에 도달하지 못했더라도 가상의 보상 전이를 삽입해 학습 신호를 강화한다. 두 번째는 Hindsight Experience Replay(HER)로, 에피소드 종료 후 실제 달성한 상태를 새로운 목표(논리식)로 재해석해 재사용한다. 특히, LTLfMT가 제공하는 ‘구조화된 목표’는 HER의 목표 재정의 과정과 자연스럽게 맞물려, 목표와 상태 사이의 함수적 관계를 그대로 유지한다.

실험에서는 MuJoCo 기반 로봇 팔과 이동 로봇 시나리오에 복합 목표(위치 도달, 객체 식별, 무게 제한)를 부여하고, 제안된 HER‑CRM 조합이 단순 CRM 대비 학습 속도와 최종 성공률에서 현저히 우수함을 보였다. 또한, 동일한 논리식을 다른 환경에 그대로 적용할 수 있어 재사용성과 확장성이 검증되었다. 코드와 데이터는 공개 저장소에 제공되어 재현 가능성을 높였다.

전반적으로 이 논문은 (1) 비마코프 보상을 위한 논리 사양을 1차 논리와 SMT 기반으로 일반화하고, (2) 이론적 복잡성을 제한된 조각으로 관리하며, (3) HER와 같은 최신 경험 재활용 기법과 결합해 실용적인 연속 제어 문제에 적용하는 전 과정을 체계적으로 제시한다는 점에서 의미가 크다.