연속 오프라인 강화학습 네비게이션 벤치마크

초록

본 논문은 비디오 게임 환경에서의 목표 지향 네비게이션을 대상으로, 인간 플레이 데이터를 활용한 오프라인 데이터셋과 다양한 난이도의 미로 시나리오를 제공하는 연속 강화학습(Continual RL) 벤치마크인 Continual NavBench을 제안한다. catastrophic forgetting, task adaptation, memory efficiency 등 연속 학습의 핵심 과제를 평가하기 위한 평가 프로토콜과 PER, BWT, FWT, MEM, INF, TRN 등 표준 메트릭을 정의하고, HGCBC 기반의 계층적 모방학습을 백본으로 하는 여러 최신 연속 학습 알고리즘을 베이스라인으로 실험한다.

상세 분석

Continual NavBench은 기존 RL 벤치마크가 주로 온라인 학습에 초점을 맞추고, 오프라인 데이터 활용이나 메모리·연산 효율성을 고려하지 못한 점을 보완한다는 점에서 의미가 크다. 저자들은 Godot 엔진으로 제작한 두 종류의 미로 환경(SimpleTown, AmazeVille)을 제시하고, 각각 20 m × 20 m와 60 m × 60 m 규모의 8개 맵을 제공한다. 각 맵은 시작·목표 위치와 장애물(높은 블록·낮은 블록) 배치가 달라, 에이전트가 고수준 목표‑조건 정책을 학습해야 하는 복합적인 탐색 과제를 만든다. 데이터는 10시간 분량(≈2800 트래젝터리) 인간 플레이를 기록한 것으로, 위치·속도·RGB·Depth 등 풍부한 관측을 포함한다.

연속 학습 스트림은 Random Stream와 Topological Stream으로 구분된다. Random Stream는 맵 순서가 무작위이며, 동일 맵이 재등장해 재학습 능력을 테스트한다. Topological Stream은 구조적 변화를 단계적으로 도입해, 이전에 학습한 서브골프 정책을 재활용하거나 확장할 수 있는지를 평가한다. 이러한 설계는 실제 게임 업데이트 시나리오와 유사하게, 에이전트가 기존 지식을 유지하면서 새로운 레이아웃에 빠르게 적응하도록 요구한다.

알고리즘 측면에서 저자들은 Hierarchical Goal‑Conditioned Behavioral Cloning(HGCBC)을 기본 모델로 채택한다. 고수준 정책은 중간 서브골프를 선택하고, 저수준 정책은 해당 서브골프를 향해 행동을 생성한다. HER( hindsight experience replay)를 이용해 서브골프를 재라벨링함으로써 희소 보상 문제를 완화하고, 데이터 효율성을 높인다.

벤치마크에 포함된 베이스라인은 크게 네 가지 카테고리로 나뉜다. ① Naïve 방법(From Scratch, Freeze, Finetune)은 메모리 사용량이 적지만 catastrophic forgetting 문제가 심각하다. ② Replay‑Based 방법(Experience Replay)은 모든 이전 데이터를 재학습함으로써 기억 손실을 방지하지만, 저장 비용과 프라이버시 이슈가 존재한다. ③ 가중치 정규화 방법(EWC, L2)은 파라미터 변화를 억제해 안정성을 제공하지만, 작업 간 동작·다이내믹 차이가 클 경우 적응력이 떨어진다. ④ 구조적 방법(PNN, HiSPO)은 새로운 컬럼·앵커를 추가해 확장성을 확보하지만 모델 크기가 급증한다.

실험 설정은 Residual MLP(3 × 256 hidden units, LayerNorm, GELU)와 동일 학습 하이퍼파라미터(배치 64, LR 3e‑4, 1e5 gradient steps)로 통일했으며, 각 스트림별 최적 λ 값을 탐색했다. 결과는 PER(전체 성공률), BWT(역전이), FWT(전전이), MEM(모델 크기 비율), INF(추론 시간), TRN(학습 시간) 등 6가지 메트릭을 통해 종합적으로 보고한다. 전반적으로 Replay‑Based와 구조적 방법이 기억 유지에서는 우수했지만, 메모리·추론 비용 면에서는 가중치 정규화와 Naïve 방법이 경쟁력을 보였다. 특히 HiSPO는 새로운 앵커를 필요에 따라 선택·제거함으로써 메모리 효율성을 어느 정도 회복했지만, 복잡한 미로에서는 여전히 성능 한계가 드러났다.

이 벤치마크는 오프라인 데이터와 연속 학습을 동시에 다루는 최초의 공개 프레임워크로, 연구자들이 메모리·연산 제약을 고려한 알고리즘을 개발하고, 실제 게임 파이프라인에 적용 가능한 평가를 수행하도록 돕는다. 또한, 인간 플레이 데이터를 제공함으로써 imitation‑learning 기반 접근법과 강화학습 기반 접근법을 공정하게 비교할 수 있는 기반을 마련한다.