특징 동적 베이지안 네트워크: ΦDBN을 통한 구조화된 강화학습

본 논문은 강화학습 에이전트가 일반적인 환경에서 효율적으로 학습하기 위해 필요한 두 가지 핵심 요소, 즉 (1) 환경 히스토리를 압축하는 특징 맵 Φ와 (2) 압축된 특징들 간의 구조적 의존성을 모델링하는 동적 베이지안 네트워크(DBN)를 결합한 새로운 프레임워크 ΦDBN을 제안한다. 1. **배경 및 동기** - 기존의 Feature Markov Decision Processes(ΦMDP)는 히스토리를 특징 벡터 s_t=Φ(h_t) 로 요약하고, 이를 MDP의 상태로 간주한다. 그러나 구조가 없는 평면 MDP는 복잡한 현실 문제를 표현하기에 한계가 있다. - DBN은 상태를 다수의 변수(특징)로 분해하고, 각 변수의 전이가 제한된 부모 집합에만 의존하도록 함으로써 상태 폭발을 방지한다. 2. **ΦDBN 정의** - 상태 공간 S는 이진 특징 m개의 조합 S={0,1}^m 로 정의한다. - 전이 확률은 T_a(x,x′)=∏_{i=1}^m P_a(x′_i|Pa_i) 로 표현되며, 여기서 Pa_i⊆{1,…,m}는 특징 i의 부모 집합이다. - 보상은 전체 보상 r_t를 로컬 보상의 선형 결합 R(x)=w^T x 로 근사한다. 로컬 보상 R_i는 오직 해당 특징 x_i에만 의존한다는 가정 하에 모델링한다. 3. **코딩 기반 비용 함수** - 상태·특징 시퀀스 x_{1:n} 를 관측된 행동 a_{1:n} 에 조건부로 코딩한다. 빈도 추정 ˆP_a(x′_i|Pa_i)=n_{i a u_i x′_i}/n_{i a u_i} 를 사용하고, Shannon‑Fano 코딩 길이는 CL(x_{1:n}|a_{1:n})=∑_{i,u_i,a} CL(n_{i a u_i·}) 로 계산한다. - 보상 시퀀스 r_{1:n} 은 가우시안 모델 P(r_{1:n}|w,σ) 로 코딩한다. 최소제곱 손실 Loss(w)=∑_t (w^T x_t - r_t)^2 를 최소화해 ŵ와 σ̂를 얻고, 코딩 길이는 CL(r_{1:n}|x_{1:n},a_{1:n})= (n/2)log(Loss(ŵ)) + (m+2)/2·log n + const 로 표현한다. - 전체 비용은 Cost(Φ,G|h_n)=CL(x_{1:n}|a_{1:n})+CL(r_{1:n}|x_{1:n},a_{1:n}) 로 정의되며, 이를 최소화하는 (Φ,G) 가 최적 모델이다. 4. **구조 학습 및 특징 선택** - 그래프 G(= {Pa_i}) 를 고정하고 비용을 최소화하면 각 특징 i에 대해 독립적으로 최적 부모 집합을 찾을 수 있다. 이는 전통적인 MDL 기반 DBN 구조 학습과 동일하지만, 보상 코딩 항이 추가된 새로운 형태이다. - 특징 맵 Φ 자체도 비용에 영향을 미치므로, Φ와 G를 교차 최적화한다. 저자는 교차 검증, 베이지안 모델 평균화, 혹은 메타‑학습 기법을 이용해 Φ를 탐색할 것을 제안한다. - 전체 탐색은 2^m개의 부모 후보가 존재하므로, 실용적인 구현을 위해 제한된 그래프 클래스(예: 트리, 제한된 차수) 혹은 휴리스틱 탐색(예: 그리디, 유전 알고리즘)을 사용한다. 5. **알고리즘 구현** - **특징 코딩**: 각 (Pa_i,a) 조합에 대한 카운트 n_{i a u_i x′_i} 를 실시간으로 업데이트하고, 로그 팩터리얼을 이용해 코딩 길이를 빠르게 계산한다. - **보상 파라미터 추정**: 누적 행렬 A=∑_t x_t x_t^T 와 벡터 b=∑_t r_t x_t 를 유지해 O(m^2) 시간 안에 ŵ=A^{-1}b 를 구한다. A가 특이일 경우 의사역을 사용한다. - **구조 업데이트**: 새로운 부모 집합을 제안하면 해당 카운트만 재계산해 비용 변화를 평가한다. 이는 전체 비용 재계산보다 훨씬 효율적이다. 6. **예시: 진공 청소기** - 두 방과 로봇 위치, 방 청결도 등을 3개의 특징(R, A, B) 으로 모델링하고, 행동(N, S, M) 에 따라 전이가 어떻게 변하는지 DBN으로 표현한다. - 로컬 보상은 방이 청결할 때 +1, 움직임·청소는 -1 로 정의하고, 전체 보상은 로컬 보상의 합으로 나타낸다. - 이 예시는 이진 특징만으로는 충분하지 않으며, 4값(0~3) 특징을 두 개의 이진 변수로 변환해 DBN에 적용한다. 7. **의의 및 향후 연구** - ΦDBN은 상태 폭발 문제를 구조적 압축으로 해결하면서도, MDL 기반 비용 함수를 통해 과적합을 방지한다. - 현재는 로컬 보상이 특징에만 의존한다는 제한이 있지만, 더 일반적인 보상 구조(예: 행동·부모 의존) 로 확장 가능하다. - 구조 학습을 위한 효율적인 전역 최적화 알고리즘, 온라인/스트리밍 환경에서의 비용 업데이트, 그리고 실제 로봇 플랫폼에 대한 실증 연구가 향후 과제로 남는다.