활성 잠재 변수 기반 인과 구조 학습으로 로봇의 우회 행동 구현

초록

본 논문은 로봇이 환경에서 갑작스럽게 등장한 투명 장벽과 같은 구조적 변화를 감지하고, ‘놀라움(coefficient of surprise)’을 이용해 잠재 변수를 추정한 뒤, 동적 의사결정 네트워크(DDN)의 구조와 파라미터를 실시간으로 재학습함으로써 최적의 우회 경로를 계획하는 활성 인과 구조 학습(ACSLWL) 프레임워크를 제안한다.

상세 분석

논문은 먼저 기존의 동적 의사결정 네트워크(DDN)가 완전 관측 환경에서 학습된 상태에서 시작한다. 투명 장벽이 처음 등장하면 로봇은 기대와 실제 관측 사이에 큰 ‘놀라움(coefficient of surprise)’을 경험한다. 이 놀라움은 유틸리티 함수의 급격한 변동을 정량화한 지표로, 기존의 확률 그래프가 설명하지 못하는 잔차를 드러낸다. 저자들은 이 잔차를 잠재 변수(latent variable) 존재의 신호로 해석하고, ‘XM’이라는 새로운 토폴로지를 제안한다. XM 구조는 잠재 변수를 부모·자식 관계망에 삽입해 기존 변수들과의 인과 관계를 재배열한다. 구조 탐색 단계에서는 각 후보 변수와 놀라움 계수 간의 상관성을 평가해 부모·자식 후보 집합을 선정한다. 이후 하드 가중 EM(Weighted EM) 알고리즘을 이용해 새로 도입된 잠재 변수와 기존 변수들의 조건부 확률표(CPT)를 동시에 추정한다. 이 과정은 기존 POMDP 프레임워크에 인과적 구조 학습을 통합한 형태이며, MEU(Maximum Expected Utility) 원칙에 따라 행동을 선택한다. 중요한 기술적 기여는 (1) 놀라움 계수를 통한 잠재 변수 탐지 메커니즘, (2) XM 토폴로지를 이용한 빠른 구조 재구성, (3) 하드 가중 EM을 통한 파라미터 공동 학습이다. 또한, 저자들은 기존 연구(Elidan, Squires, Sontakke 등)의 잠재 변수 탐지 방법과 차별화하여, 행동 기반 실시간 탐지를 강조한다. 실험에서는 투명 장벽을 마주한 로봇이 초기에는 충돌하거나 비효율적인 경로를 선택하지만, ACSLWL을 적용한 후에는 새로운 잠재 변수를 도입해 장벽을 회피하는 최적 정책을 빠르게 학습한다는 결과를 제시한다. 이로써 인과 구조 학습이 로봇의 적응적 계획에 어떻게 기여할 수 있는지를 실증적으로 보여준다.