그래프 최적화를 이용한 기본 표현 목표(DROGO)

초록

본 논문은 강화학습에서 보상 인식 특성을 가진 기본 표현(DR)의 주축 고유벡터를 직접 학습하기 위한 새로운 목적함수인 DROGO를 제안한다. 그래프 드로잉 목표를 로그 공간에 재파라미터화하고, 자연기울기(Natural Gradient)를 적용해 최적화 안정성을 확보한다. 실험을 통해 다양한 그리드월드와 픽셀 기반 환경에서 효율적으로 학습되며, 얻은 고유벡터를 보상 shaping에 활용함을 보인다.

상세 분석

DROGO는 기존 DR을 행렬 형태로 근사한 뒤 고유분해를 수행하던 방식의 비효율성을 극복하고자, “주축 고유벡터의 로그값(log e)”을 직접 신경망으로 추정한다는 근본적인 아이디어에서 출발한다. 이를 위해 저자들은 먼저 DR의 대칭화된 형태 (Z=(R-\tilde P)^{-1}) 의 주축 고유벡터가 (I+R-\tilde P) 의 최소 고유벡터와 동일함을 증명하고, 전통적인 그래프 드로잉 목표(GDO) (\min_u u^\top (I+R-\tilde P)u) 에 정규화 제약을 추가한 형태를 손실함수 (L_{\text{GDO}}) 로 정의한다. 여기서 (R=\operatorname{diag}(\exp(-r/\lambda))) 는 보상 (r) 에 대한 지수 가중치를 포함해, 낮은 보상을 가진 상태가 고유벡터에서 작은 값을 갖도록 유도한다는 보상‑인식 정규화 효과를 제공한다.

하지만 DR의 고유벡터는 원소가 매우 작아 직접 사용하기 어렵고, 부호가 바뀔 위험도 존재한다. 이를 해결하기 위해 저자들은 (u=\exp(v)) 라는 로그‑공간 파라미터화를 도입한다. 즉, (v) 를 신경망이 출력하도록 하고, 목표는 (L_{\log\text{GDO}}(v)=L_{\text{GDO}}(\exp(v))) 를 최소화하는 것이다. 로그 파라미터화는 (u) 가 항상 양수가 되게 보장하면서, 보상‑인식 정도를 유지한다.

하지만 (\exp(v)) 에 의해 발생하는 기하학적 왜곡 때문에 표준 경사하강법은 불안정해진다. 저자들은 자연기울기(Natural Gradient)를 적용해 파라미터 공간의 리만 계량 텐서 (G(v)=\operatorname{diag}(\exp(2v))) 를 도입한다. 이를 통해 (\partial L_{\log\text{GDO}}/\partial v) 에 (\exp(-v)) 스케일링을 곱해, (v) 값이 크든 작든 동일한 정도의 (u) 변화를 보장한다. 결과적으로 (\Delta v = -G(v)^{-1}\nabla_v L_{\log\text{GDO}}) 는 (\Delta u) 에 대한 균일한 영향을 제공한다.

학습 절차는 다음과 같다. (1) 기본 정책 (\pi_d) 에 따라 샘플링된 전이 ((s,a,r,s’)) 와 무작위 상태 (s’’) 를 이용해 (\ell_{\log\text{GDO}}(\phi)) 을 계산한다. 여기서 (\phi) 는 (v_\phi) 신경망의 파라미터이며, 손실은 (i) (\exp(v_\phi(s)))와 (\exp(v_\phi(s’))) 의 차이 제곱, (ii) 보상 (r) 에 기반한 (\exp(2v_\phi(s)-r/\lambda)) 항, (iii) 정규화 항 (b(\exp(2v_\phi(s))-c)(\exp(2v_\phi(s’’))-c)) 으로 구성된다. (2) 위 손실에 자연기울기 보정 (\exp(-v_\phi)) 을 곱해 파라미터 업데이트를 수행한다.

실험에서는 좌표 입력과 픽셀 입력 두 가지 형태의 상태 표현을 사용해 4×4, 8×8, 그리고 복잡한 고리형 환경 등 여러 그리드월드에서 학습을 수행했다. 결과는 (a) 기존 DR을 행렬로 근사하고 고유분해하는 방식보다 학습 시간과 메모리 사용량이 크게 감소했으며, (b) 학습된 (\log e) 를 보상 shaping에 적용했을 때, 에이전트가 저보상 영역을 회피하고 목표 보상을 빠르게 획득하는 것이 확인되었다. 특히 픽셀 기반 환경에서도 CNN 기반 (v_\phi) 가 안정적으로 (\log e) 를 추정함을 보여, 고차원 관측에 대한 확장성을 입증한다.

이 논문은 DR의 주축 고유벡터를 직접 학습하는 새로운 프레임워크를 제시함으로써, 보상‑인식 표현을 고차원·연속형 환경에 적용할 수 있는 길을 열었다. 그래프 드로잉 목표와 자연기울기의 결합이라는 이론적 토대는 향후 옵션 발견, 전이 학습, 탐색 보조 등 다양한 RL 하위 분야에 활용될 가능성을 시사한다.