계층 강화학습 모델의 지식 전이를 위한 구체적 기반 구축

초록

본 논문은 딥 모델 기반 강화학습에 계층적 표현 학습을 도입해, 에이전트가 센서-모터 상호작용을 통해 스스로 추상적인 세계 상태를 구성하고, 이를 통해 객관적·주관적 상황 간 지식 전이를 가능하게 하는 프레임워크를 제안한다.

상세 분석

이 연구는 기존 딥 모델‑프리 강화학습이 갖는 표현의 고정성 문제를 비판하고, 에이전트가 사전 정의된 세계 상태 없이 자체적으로 의미 있는 표현을 학습하도록 설계된 계층적 구조를 제시한다. 먼저, 저자는 MDP와 POMDP를 비교하면서, 세계 상태를 미리 제공하는 것이 ‘의미적 부하(semantic load)’를 초래하고, 이는 설계자의 사전 지식이 시스템에 주입되는 형태임을 지적한다. 이러한 부하를 없애기 위해서는 에이전트가 관찰(observation)과 행동(action) 사이의 상호작용으로부터 직접 상태를 추론하고, 이를 점진적으로 추상화하는 과정이 필요하다.

핵심 메커니즘은 두 단계로 나뉜다. 1) 심층 표현 학습 단계에서는 자동인코더, 제한 볼츠만 머신 등 전통적인 딥러닝 모듈을 활용해 저수준 센서 데이터(예: 주변 셀의 존재 여부)를 압축하고, 반복적인 스택 구조를 통해 점점 높은 차원의 추상 표현을 만든다. 이때 각 층은 이전 층의 출력(즉, 이미 학습된 표현)을 입력으로 받아 데이터 복잡성을 로그 수준으로 감소시키면서 구조적 복잡성만을 증가시킨다. 2) 계층적 모델 기반 강화학습 단계에서는 이렇게 생성된 추상 표현을 상태 공간으로 사용하고, 전이 함수 T와 가치 함수 V를 각각 학습한다. 전이 함수는 추상 상태와 행동의 조합을 입력으로 받아 다음 추상 상태를 예측하며, 이는 모델 기반 RL의 핵심인 ‘시뮬레이션 기반 계획’에 직접 활용된다. 가치 함수는 추상 상태‑행동 쌍에 대한 기대 누적 보상을 추정해 정책 π=(V,T)를 형성한다.

특히 논문은 객관적 상호작용과 주관적 상호작용을 구분한다. 객관적 상호작용은 에이전트가 절대 좌표와 같은 완전한 세계 정보를 받는 경우로, 새로운 환경에 대한 전이 함수가 다르면 기존 지식이 재사용되지 못한다. 반면 주관적 상호작용은 주변 셀 정보만을 받아 에이전트가 자신의 방향과 위치를 내부적으로 추론하도록 만든다. 이 경우 새로운 환경에서도 동일한 주관적 관찰이 발생하면, 이전에 학습한 전이와 가치 함수가 그대로 적용돼 지식 전이가 자연스럽게 이루어진다. 실험에서는 복도(grid‑world) 환경을 사용해 두 상황을 비교했으며, 주관적 입력을 이용한 에이전트가 새로운 구간에서도 기존 정책을 그대로 활용해 학습 속도가 크게 향상되는 것을 확인했다.

또한, 저자는 지식 전이와 의미적 부하를 동일한 문제의 두 단계로 해석한다. 의미적 부하는 설계자가 미리 정의한 표현이 시스템의 자율성을 저해한다는 점을 강조하고, 지식 전이는 이러한 부하를 최소화하면서도 학습된 정보를 다른 상황에 재활용하는 메커니즘으로 제시한다. 따라서 제안된 프레임워크는 ‘자율적 표현 생성 → 계층적 모델 기반 계획 → 주관적 상호작용 기반 전이’라는 순환 구조를 통해, 사전 지식에 의존하지 않으면서도 효율적인 지식 전이를 달성한다.

이 논문의 주요 기여는 (1) 사전 정의된 세계 상태 없이도 에이전트가 자체적으로 의미 있는 추상 표현을 학습하도록 하는 계층적 딥 RL 아키텍처, (2) 주관적 센서-모터 인터페이스를 통해 객관적 환경 변화에 강인한 지식 전이 메커니즘을 구현한 점, (3) 모델 기반 RL과 심층 표현 학습을 결합해 전이 함수와 가치 함수를 동시에 추상화된 상태 공간에서 학습함으로써 계획 효율성을 높인 점이다. 향후 연구에서는 더 복잡한 연속 공간, 다중 에이전트 협업, 그리고 실제 로봇 플랫폼에의 적용을 통해 제안된 개념의 일반성을 검증할 필요가 있다.