적응형 스킬과 적응형 파티션

본 논문은 강화학습(RL)에서 장기 행동(Temporally Extended Actions, TEA)인 옵션을 학습하고, 그 옵션을 언제, 어디서 적용할지를 자동으로 결정하는 통합 프레임워크인 Adaptive Skills, Adaptive Partitions(ASAP)를 제안한다. 기존 연구는 옵션 자체를 학습하거나 옵션 선택 정책을 설계하는 데 초점을 맞추었지만, 옵션이 적용될 상태 영역(파티션)을 명시적으로 학습하는 접근은 거의 없었다. 저자들은 이러한 두 요소를 동시에 최적화함으로써, 평생학습 에이전트가 여러 과제에 걸쳐 재사용 가능한 스킬을 효율적으로 구축할 수 있다고 주장한다. 1. **문제 정의 및 배경** - MDP는 (X, A, R, γ, P) 로 정의되며, 정책 π: X→Δ(A) 로 최적화한다. - 옵션(스킬)은 (σ_θ, p) 로 구성되며, σ_θ는 내부 정책, p는 종료 확률이다. - 스킬 파티션(SP)은 스킬이 적용될 상태 서브스페이스이며, 이를 자동으로 찾는 것이 핵심 과제이다. 2. **스킬 파티션을 위한 하이퍼플레인** - 상태·MDP 특징 ψ(x,m)와 파라미터 β_k 로 정의된 K개의 하이퍼플레인을 사용한다. - 각 하이퍼플레인의 양·음반을 조합해 2ᴷ개의 이진 벡터 B를 만들고, 이를 통해 스킬 인덱스 i = Σ_{k=1}^K 2^{k-1} b_k 를 정의한다. - 스킬 선택 확률 p(i|x,m) 는 로지스틱 시그모이드(p_k)들의 곱으로 표현된다: p(i|x,m)=∏_k p_k(b_k|x,m). 3. **내부 정책 및 전체 정책 구조** - 각 스킬 i 에 대해 내부 정책 σ_θ_i(a|x) 는 온도 α와 특징 φ(x,a)를 이용한 소프트맥스 형태이다. - 전체 정책은 베이지안 혼합 형태로 정의된다: π_{Θ,β}(a|x,m)=∑_{i=1}^{2^K} p(i|x,m)·σ_θ_i(a|x). - 이 구조는 스킬 선택의 불확실성을 명시적으로 모델링하고, 스킬 간 연쇄(composability)를 자연스럽게 지원한다. 4. **일반화된 궤적과 목표 함수** - 전통적인 궤적 τ=(x_t,a_t,r_t,x_{t+1}) 대신, 스킬 인덱스 i_t 를 포함한 일반화된 궤적 g=(x_t,a_t,i_t,r_t,x_{t+1}) 를 도입한다. - 목표 함수는 MDP 분포 μ(m) 위에서 기대 보상 ρ(π_{Θ,β})=∫ μ(m) J(m,π_{Θ,β}) dm 로 정의된다. 여기서 J는 특정 MDP m 에 대한 기대 반환이다. 5. **그라디언트 유도 및 학습 알고리즘** - Theorem 1에서 전체 목표 함수의 그라디언트를 일반화된 궤적에 대한 로그 확률 Z(m)=log P_β(i_t|x_t,m)·σ_θ_i(a_t|x_t) 로 표현하고, 기대값 형태로 제시한다. - Theorem 2는 intra‑skill 파라미터 Θ에 대한 그라디언트를, Theorem 3은 하이퍼플레인 파라미터 β에 대한 그라디언트를 각각 유도한다. 두 그라디언트 모두 로지스틱 회귀와 소프트맥스 회귀의 표준 형태와 동일하게 계산 가능하다. - 따라서 샘플 기반 스터케스틱 그라디언트 어셈블리를 통해 Θ와 β 를 동시에 업데이트한다. 업데이트는 온도 파라미터 α, β, 학습률 η 등을 조절해 안정적인 수렴을 보장한다. 6. **이론적 수렴 보장** - 저자는 “자연스러운 조건”이라 부르는 연속성, 유계 보상, 충분한 탐색 가정을 전제로, 업데이트가 지역 최적점에 수렴함을 증명한다. 특히, 파티션이 VC‑dimension에 의해 제한되므로 과적합 위험이 이론적으로 억제된다. 7. **실험** - **RoboCup 2‑D 시뮬레이션**: 초기에는 부정확한 옵션 집합(예: 공격·수비 스킬)만 제공되었으며, ASAP는 몇 백 에피소드 내에 스킬 파티션을 재구성하고, 기존 옵션보다 높은 득점률을 달성했다. - **연속 제어 도메인**: MountainCar, Pendulum 등에서 다중 목표(목표 위치 변화) 상황을 설정하고, μ(m) 로 다양한 목표 MDP를 샘플링하였다. ASAP는 하나의 스킬 집합을 공유하면서도 목표에 따라 파티션을 자동 조정해 학습 속도가 기존 옵션 학습 대비 2~3배 빨랐다. - **비교**: Table 1에 제시된 기존 방법(da Silva et al., Konidaris & Barto 등)과 비교했을 때, ASAP는 자동 스킬 구성, 연속 상태, 멀티태스크, 모델 오차 보정 등 모든 항목을 만족한다. 8. **의의 및 한계** - ASAP는 “스킬 학습 + 스킬 적용 위치 학습”을 하나의 베이지안 정책 프레임워크로 통합함으로써, 평생학습 에이전트가 새로운 과제에 빠르게 적응하도록 만든다. - 현재 구현은 하이퍼플레인 수 K 를 사전에 정해야 하며, 고차원 상태공간에서의 파티션 복잡도가 급증할 수 있다는 점이 한계로 남는다. 향후 연구에서는 비선형 파티션(예: 신경망 기반)과 자동 K 선택 메커니즘을 탐색할 예정이다. 요약하면, ASAP는 옵션 기반 강화학습에 파티션 학습을 결합한 최초의 통합 접근법으로, 이론적 수렴 보장과 실험적 효율성을 동시에 제공한다. 이는 향후 로봇, 게임, 자율 시스템 등에서 다중 과제와 지속적인 학습이 요구되는 상황에 적용될 가능성을 크게 확장한다.