설계 단계에서 해석 가능성을 갖춘 효율적인 다목표 강화학습

초록

LLE‑MORL은 정책 파라미터와 성능 사이의 지역적 선형 관계를 활용해, 파라미터 변화를 목표 간 트레이드오프와 직접 연결한다. 짧은 재학습으로 얻은 로컬 방향을 선형적으로 외삽하고, 선택된 후보를 소규모 미세조정함으로써 적은 샘플로 고품질 파레토 프론트를 빠르게 구축한다.

상세 분석

본 논문은 다목표 강화학습(MORL)에서 정책 파라미터 공간과 기대 보상 공간 사이에 지역적 선형 매핑(Parameter‑Performance Relationship, PPR) 이 존재한다는 가정을 중심으로 새로운 알고리즘 LLE‑MORL을 제안한다. PPR은 특정 파라미터 영역 U에서 작은 파라미터 변동 Δθ가 보상 벡터 V의 변동을 선형 함수 h(θ,Δθ)로 근사할 수 있음을 정의한다. 이를 검증하기 위해 저자들은 동일한 환경에서 서로 다른 선호 가중치 ω로 학습된 정책을 짧게 재학습(short retraining)시켜 얻은 파라미터 θ′와 원본 θ 사이의 헝가리안 매칭 거리를 측정하였다. 실험 결과, 재학습 후 얻은 θ′는 원본과 매우 작은 거리(구조적 유사성)를 유지하면서 보상 공간에서는 선호 변화에 따라 예측 가능한 이동을 보였다. 이는 PPR이 실제로 존재함을 실증한다.

이러한 관찰을 바탕으로 Locally Linear Extension을 설계한다. 두 정책 θ와 θ′가 PPR을 만족하고 서로 비지배(non‑dominated)일 때, Δθ = θ′−θ를 방향 벡터로 삼아 α∈