다중과제 강화학습을 위한 의미 라벨 자동화

초록

본 논문은 선형시제논리(LTL) 명세를 위한 의미 라벨 자동화를 이용해, 작업 임베딩을 효율적으로 생성하고, 이를 기반으로 단일 정책이 다양한 LTL 과제를 온‑플라이로 수행하도록 하는 새로운 다중과제 강화학습 프레임워크를 제안한다.

상세 분석

이 연구는 LTL 기반 과제의 메모리 요구와 작업 간 의미적 유사성을 동시에 만족시키는 보편적인 진행 인터페이스(UPI)를 설계하는 데 초점을 맞춘다. 기존의 두 접근법—공식 진행 기반(LTL2ACTION)과 전통적인 자동화‑이론 기반(Deep LTL)—은 각각 코‑안전성 조각에 제한되거나 전체 자동화를 위해 전체 LDBA를 사전에 구축해야 하는 비효율성을 안고 있다. 논문은 최근 형식 합성 분야에서 개발된 의미 라벨 자동화(semantic‑labelled LDBA)를 차용한다. 각 자동화 상태는 ‘현재까지 만족된 서브포뮬러’, ‘필요한 다음 라벨 집합’, ‘수용 가능성’ 등 구조화된 메타 정보를 포함한다. 이러한 라벨은 (i) 자동화를 온‑플라이로 부분적으로만 생성해 메모리와 시간 복잡도를 크게 낮추고, (ii) 상태별 메타 데이터를 그래프 신경망(GNN)으로 임베딩해 정책 네트워크에 전달함으로써 작업 진행 상황을 고차원 벡터로 압축한다. 임베딩은 작업 간 의미적 거리를 보존하도록 설계돼, 예를 들어 F r ∧ FG y와 F r은 유사한 임베딩을 갖는다. 정책은 MDP 상태와 현재 자동화 상태 임베딩을 결합해 행동을 선택하므로, 동일한 정책이 어떠한 LTL 명세에도 적용 가능하다. 실험에서는 로봇 내비게이션, 그리드 월드, 복합 색상 구역 등 다양한 도메인에서 기존 방법을 크게 앞서는 성공률과 학습 효율을 보였으며, 특히 복잡한 중첩 ‘until’·‘release’ 구조를 포함한 명세에서도 성공적으로 작동한다. 이 결과는 의미 라벨 자동화가 LTL‑기반 다중과제 RL에서 메모리 관리와 작업 임베딩을 동시에 해결할 수 있음을 실증한다.