실용적인 커널 기반 강화학습: KBSF 알고리즘

초록

KBSF는 기존 커널 기반 강화학습(KBRL)의 데이터 규모에 비례하는 비용 문제를 해결한다. 전이 행렬을 두 개의 확률 행렬로 분해하고 순서를 뒤바꾸어 작은 인공 상태 집합으로 압축함으로써, 샘플 수에 선형적인 시간·메모리 복잡도를 달성한다. 이론적 수렴 보장과 실험적 성능 향상이 동시에 입증되었다.

상세 분석

본 논문은 커널 기반 강화학습(KBRL)의 핵심 장점인 통계적 일관성과 유일한 최적해 수렴성을 유지하면서, 모델 크기가 샘플 수에 비례해 급증하는 실용적 한계를 극복하고자 한다. 이를 위해 저자들은 전이 확률 행렬 P를 두 개의 확률 행렬 D와 K의 곱으로 표현하는 ‘스토캐스틱 팩터화(stochastic factorization)’ 개념을 도입한다. D는 원래 상태에서 m개의 인공 상태(‘가상 상태’)로의 1‑step 전이를, K는 인공 상태에서 원래 상태로의 1‑step 전이를 의미한다. P = D K 라는 분해가 존재하면, 행렬 순서를 뒤바꾼 K D는 차원이 m×m인 새로운 전이 행렬을 만든다. 이 행렬은 원래의 전이 구조를 근사하면서도 상태 수가 m으로 크게 감소한다는 점에서 KBRL 모델을 압축하는 핵심 메커니즘이 된다.

KBSF(Kernel‑Based Stochastic Factorization)는 이 아이디어를 바탕으로, 샘플 전이 집합 Sᵃ = {(sᵃₖ, rᵃₖ, ŝᵃₖ)}ₖ에 대해 먼저 커널 함수를 이용해 KBRL의 전이·보상 행렬 ˆPᵃ, ˆrᵃ를 구성한다. 그 후, 고정된 인공 상태 수 m을 선택하고, D와 K를 각각 ‘입력‑인공’ 및 ‘인공‑출력’ 커널 가중치로 정의한다. 이때 D와 K는 모두 확률 행렬이 되도록 정규화한다. 최종적으로 K D 로부터 얻은 작은 전이 행렬을 사용해 동적 프로그래밍(벨만 연산)을 수행하면, 원래 KBRL이 만든 거대한 MDP와 거의 동일한 가치 함수 ˆV*를 근사할 수 있다.

이 과정에서 저자들은 두 가지 중요한 이론적 결과를 제시한다. 첫째, KBSF가 계산한 가치 함수 V̂와 KBRL이 동일 데이터로 얻은 가치 함수 V* 사이의 L∞ 거리 상한을 명시적으로 도출한다. 이 상한은 커널 폭 τ, 인공 상태 수 m, 그리고 샘플 수 n에 대한 함수이며, m과 τ를 충분히 크게(또는 작게) 조정하면 상한을 임의로 작게 만들 수 있음을 보인다. 둘째, KBSF의 메모리 사용량이 샘플 수와 무관하게 O(m²) 로 제한된다는 점을 증명한다. 따라서 KBSF는 ‘데이터를 버리지 않으면서도’ 선형 시간 복잡도를 달성한다는 실용적 장점을 갖는다.

알고리즘은 오프라인 버전과 온라인 버전으로 모두 제시된다. 온라인 버전에서는 새로운 전이가 들어올 때마다 D와 K를 순차적으로 업데이트하고, 최신 전이 행렬에 대해 벨만 업데이트를 수행한다. 이때 전체 메모리 요구량은 여전히 고정된 m에만 의존한다.

실험 섹션에서는 pole‑balancing, double pole‑balancing, HIV 치료 스케줄링, 그리고 실제 뇌전증 억제 데이터 등 네 가지 도메인에서 KBSF를 평가한다. 오프라인 실험에서는 KBSF가 기존의 최소제곱 정책 반복(LSPI)과 피팅된 Q‑iteration보다 월등히 높은 누적 보상을 기록했으며, 특히 데이터 양이 많아질수록 KBRL과 거의 동일한 성능을 보였다. 온라인 실험에서는 SARSA와 비교했을 때 학습 속도와 최종 정책 품질 모두에서 우위를 나타냈다.

전체적으로 KBSF는 커널 기반 강화학습의 이론적 강점을 실용적인 규모로 확장시키는 중요한 진전이다. 스토캐스틱 팩터화라는 수학적 트릭을 통해 모델 압축, 선형 시간·메모리 복잡도, 그리고 온·오프라인 모두에서 적용 가능한 유연성을 제공한다. 향후 연구에서는 인공 상태 선택을 자동화하는 방법, 비정형 커널 함수와의 결합, 그리고 심층 신경망 기반 특징 추출과의 하이브리드 구조가 탐구될 수 있다.