클라우드 로봇을 위한 평생 연합 강화학습 기반 내비게이션 아키텍처

본 논문은 클라우드 로봇 시스템에서 로봇들이 서로의 경험을 공유하고, 이를 기반으로 새로운 환경에 빠르게 적응하도록 설계된 ‘Lifelong Federated Reinforcement Learning(LFRL)’이라는 학습 아키텍처를 제안한다. 연구 배경으로는 기존 강화학습 기반 내비게이션이 학습 시간 과다, 데이터 저장·전송 비용, 환경 변화에 대한 적응성 부족 등의 문제를 안고 있다는 점을 들었다. 이러한 문제를 해결하기 위해 저자들은 인간의 인지 과정—과거 경험을 기억하고 새로운 상황에 재구성하는 과정—에 착안해 클라우드에 장기 기억을 두고, 로봇들은 로컬에서 학습한 후 그 지식을 클라우드에 업로드하는 연합 학습 방식을 채택하였다. LFRL의 핵심 구성 요소는 (1) 로봇‑클라우드 환경 설정, (2) 지식 융합 알고리즘, (3) 전이 학습 메커니즘이다. 로봇은 각각 독립적인 강화학습 에이전트로서 Q‑network를 학습하고, 학습이 끝난 개인 모델을 클라우드 서버에 전송한다. 클라우드에서는 여러 개인 모델과 기존 공유 모델을 하나의 ‘진화된’ 공유 모델로 통합한다. 이때 사용되는 지식 융합 알고리즘은 이미지 스타일 트랜스퍼에서 영감을 얻은 생성 네트워크와 동적 가중치 라벨링 방식을 차용한다. 각 로봇의 ‘신뢰도(confidence)’는 Q‑값의 분산, 표준편차, 엔트로피 등 통계적 지표로 측정되며, 이 신뢰도를 기반으로 각 로봇이 제시한 행동 가치에 가중치를 부여해 새로운 학습 데이터의 라벨을 만든다. 이렇게 생성된 라벨은 클라우드에서 재학습된 정책 네트워크의 목표값이 되며, 다양한 환경에서 얻은 지식이 하나의 모델에 압축된다. 전이 학습 측면에서는 두 가지 접근법을 제시한다. 첫 번째는 ‘후속 특성(successor features)’을 이용해 공유 모델의 출력값을 로봇의 Q‑network에 추가적인 피처로 삽입함으로써, 기존 정책을 새로운 목표와 환경에 빠르게 매핑한다. 두 번째는 전체 파라미터를 그대로 복사해 초기화값으로 사용하고, 로봇이 현장 환경에서 미세 조정하도록 하는 전통적인 파라미터 전이 방식이다. 두 방법 모두 공유 모델이 제공하는 사전 지식을 활용해 초기 학습 단계에서 높은 성공률과 낮은 충돌률을 달성한다. 실험은 공개 데이터셋과 자체 제작 환경에서 수행되었으며, LFRL은 A3C·UNREAL과 같은 동기식 강화학습 프레임워크에 비해 학습 에피소드당 평균 보상이 크게 상승하고, 목표 도달까지 소요되는 시간도 현저히 감소했다. 특히, 클라우드에 축적된 지식이 늘어날수록 새로운 로봇이 최소한의 학습만으로도 복잡한 장애물 회피와 목표 추적을 수행할 수 있음을 입증했다. 또한, 시스템은 로봇마다 서로 다른 센서 입력 차원이나 네트워크 구조를 허용하므로, 실제 현장에 존재하는 이기종 로봇군에도 적용 가능하다. 논문은 또한 클라우드 로봇 시스템에 특화된 웹 서비스(www.shared-robotics.com)를 구축해, 사용자가 공유 모델을 다운로드하고 개인 모델을 업로드할 수 있는 플랫폼을 제공한다. 이를 통해 연구 커뮤니티뿐 아니라 산업 현장에서도 LFRL 기반 내비게이션 서비스를 손쉽게 활용할 수 있다. 결론적으로, LFRL은 (1) 지식 저장·융합을 통한 장기 기억 구축, (2) 연합 학습을 통한 다중 로봇 협업, (3) 전이 학습을 통한 빠른 환경 적응이라는 세 가지 핵심 목표를 동시에 달성한다. 이는 로봇공학, 연합 학습, 지속 학습, 전이 학습 분야에 교차적인 통찰을 제공하며, 앞으로 클라우드 기반 로봇 서비스가 확대될 때 핵심 기술로 자리 잡을 가능성을 시사한다.