고차원 연속 제어를 위한 가치 기반 흐름 탐색

초록

Q‑flex는 학습된 Q‑함수의 그래디언트를 이용해 고차원 행동 공간에서 확률 흐름을 생성함으로써, 무작위 가우시안 잡음 대신 목표 지향적인 탐색을 수행한다. 이 방법은 기존의 무방향 탐색이 차원 증가에 따라 급격히 효율을 잃는 문제를 해결하고, 700개의 액추에이터를 가진 인간 근골격 모델을 포함한 다양한 고차원 연속 제어 벤치마크에서 기존 온라인 RL 알고리즘을 크게 앞선다.

상세 분석

본 논문은 고차원 연속 제어 문제에서 “무방향 탐색의 소멸” 현상을 정량적으로 분석하고, 이를 극복하기 위한 새로운 탐색 메커니즘을 제안한다. 기존의 Gaussian 기반 탐색은 각 차원에 독립적인 잡음을 주입하지만, 차원이 커질수록 행동 샘플이 고정된 볼륨 안에 머무르게 되어 엔드 이펙터의 위치 분산이 O(1/|A|) 로 감소한다는 수학적 증명을 제시한다(섹션 4). 이러한 현상은 고차원 로봇이나 근골격 시스템에서 탐색 효율을 급격히 저하시킨다.

논문은 흐름 매칭(flow matching) 이론을 차용해, 초기 분포(learnable Gaussian)와 목표 분포(높은 Q‑값을 갖는 행동) 사이를 연속적인 확률 흐름으로 연결한다. 흐름은 연속 시간 확률 경로 p(t) 를 만족하는 연속 방정식 dp/dt + ∇·(p v)=0 로 정의되며, 여기서 v(t,·)는 신경망으로 파라미터화된 속도장이다. 논문은 Q‑함수의 행동 그래디언트 ∇ₐQ(s,a) 를 이용해 v(t,·) 를 M∇ₐQ(s,a) 로 설정한다(M은 양정정규 행렬). 이때 행동 a(t)는 ODE da/dt = v(t,a) 를 수치적으로 적분해 얻으며, 초기 Gaussian 샘플 a(0) 를 점진적으로 높은 가치 영역으로 이동시킨다.

핵심 이론적 기여는 Proposition 1이다. Q‑함수가 한 번 연속 미분 가능하고 ∇ₐQ가 Lipschitz 연속이며, M의 연산자 노름이 유계일 경우, 시간에 따른 기대 가치 F(t;s)=E_{a∼π(t)}