연속 전이 학습을 위한 마코프 의사결정 프로세스 클러스터링

초록

본 논문은 이미 최적 정책을 학습한 다수의 MDP들을 소수의 대표 소스 MDP 집합으로 압축하는 방법을 제안한다. 정책 재사용을 위한 밴딧 기반 알고리즘 EXP‑3‑Transfer와, 정책 기반 거리 (d_V)와 비용 함수 (g(c))를 이용한 최적 클러스터링을 찾는 메트로폴리스‑헝스(MHA‑V) 알고리즘을 설계한다. 실험은 감시 도메인에서 수행되어, 클러스터링된 소스 정책이 전이 효율을 크게 향상시킴을 보인다.

상세 분석

이 연구는 “정책 재사용”이라는 전이 학습 패러다임을 밴딧 문제로 형식화한다는 점에서 혁신적이다. 기존의 정책 재사용 기법은 소프트맥스 기반 선택이나 단순히 가장 높은 보상을 보인 정책을 재사용하는 데 그쳤지만, 본 논문은 EXP‑3 알고리즘을 확장한 EXP‑3‑Transfer를 도입해, 각 소스 정책과 순수 RL(예: Q‑learning)을 각각 팔로우(arm)로 두고, 무작위 탐색과 손실 최소화를 동시에 수행한다. 이때 얻어지는 regret bound (g(c))는 소스 정책 수 (c)에 대한 명시적 함수이며, 소스 정책이 많을수록 탐색 비용이 증가하지만 regret는 감소한다는 전형적인 탐색‑활용 트레이드오프를 정량화한다.

핵심적인 거리 함수 (d_V)는 두 MDP 간의 “정책 기반 차이”를 측정한다. 구체적으로, MDP (M_i)의 최적 정책 (\pi_i^*)를 MDP (M_j)에 적용했을 때 시작 상태에서 얻는 가치 차이를 절대값으로 정의한다. 이는 전이와 보상이 다르더라도 정책의 실제 성능을 직접 반영하므로, 전통적인 전이‑보상 기반 거리보다 전이 학습에 더 적합하다.

클러스터링 비용 함수는 (g(c) + \epsilon) 형태로, 여기서 (\epsilon)는 클러스터 내 평균 (d_V) 거리(즉, 클러스터 내 정책 간 유사도)이다. 논문은 이 비용을 최소화하는 클러스터링 문제가 NP‑hard임을 증명하고, 실용적인 근사 해법으로 메트로폴리스‑헝스와 온도 변화를 동시에 최적화하는 MHA‑V 알고리즘을 제시한다. MHA‑V는 기존 시뮬레이티드 어닐링이 온도 스케줄 설계에 의존하는 문제를 해결하기 위해, 보조 변수로 온도를 샘플링하고 메트로폴리스 수용 기준에 포함시킨다. 이 설계는 이론적 수렴을 보장하면서도 실험적으로 빠른 수렴을 보여준다.

실험에서는 감시 에이전트가 다양한 침입 패턴을 가진 MDP 시퀀스를 학습한다. 클러스터링 전에는 수십 개의 소스 정책을 모두 시험해야 했지만, MHA‑V가 선택한 3~5개의 대표 정책만으로도 EXP‑3‑Transfer가 새로운 패턴에 빠르게 적응한다. 특히, 정책 재사용을 전혀 하지 않은 순수 Q‑learning 대비 누적 보상이 30 % 이상 향상되었으며, 클러스터링 없이 모든 정책을 사용했을 때보다 탐색 비용이 40 % 감소했다.

전체적으로 이 논문은 (1) 정책 기반 거리 정의, (2) 밴딧 기반 전이 학습 알고리즘, (3) 비용‑최적 클러스터링을 위한 수렴 가능한 이산 최적화 기법이라는 세 축을 결합함으로써, 대규모 연속 전이 환경에서 효율적인 지식 재사용 메커니즘을 제공한다. 다만, 거리 (d_V) 계산에 최적 정책이 필요하므로 사전 학습 비용이 존재하고, 연속적인 상태‑행동 공간이 아닌 이산형에 한정된 점은 향후 연구 과제로 남는다.