실제 환경 온라인 정책 학습을 위한 통합 확장 시스템 USER

초록

USER는 물리 로봇을 GPU와 동등한 하드웨어 자원으로 추상화하고, 클라우드‑엣지 간 적응형 통신, 비동기 학습 파이프라인, 영속 캐시‑인식 버퍼 등을 제공해 다중 로봇·이기종 환경에서 장기 온라인 정책 학습을 효율적으로 수행하도록 설계된 오픈소스 시스템이다.

상세 분석

USER는 실세계 로봇 학습을 시스템 수준에서 재구성한다는 점에서 기존 시뮬레이션 중심 프레임워크와 근본적으로 차별화된다. 첫 번째 핵심은 하드웨어 추상화 레이어(HAL)로, 물리 로봇을 GPU·TPU와 동일한 ‘하드웨어 유닛’으로 모델링한다. HAL은 자동 탐지, 메타데이터 수집, 플러그인 기반 체크러를 통해 새로운 로봇 타입을 손쉽게 등록하고, 노드‑그룹 개념을 도입해 이기종 로봇과 가속기를 하나의 스케줄링 인터페이스에 통합한다. 이는 로봇과 연산 자원을 동시에 고려한 최적 배치를 가능하게 하며, 다중 로봇·다중 GPU 환경에서 작업을 병렬화한다는 장점을 제공한다.

두 번째 기여는 클라우드‑엣지 통신 플레인이다. UDP 터널링 기반의 전용 네트워크 인터페이스를 구축해 방화벽·VLAN 등 물리적 격리를 뛰어넘는 양방향 연결을 제공한다. 데이터 전송은 ‘분산 데이터 채널’이라는 FIFO 큐 서비스로 구현되며, 키(예: 로봇 ID) 기반 샤딩을 통해 트래픽을 로컬 영역에 머물게 함으로써 크로스‑도메인 대역폭 사용을 최소화한다. 또한, NCCL 기반 가중치 동기화가 GPU SM을 과다 점유하는 문제를 해결하기 위해 SM‑aware 동기화 제한 파라미터를 도입, 학습 단계와 롤아웃 단계가 서로 방해받지 않도록 조절한다.

세 번째 특징은 완전 비동기 학습 프레임워크와 영속 캐시‑인식 리플레이 버퍼이다. 전통적인 메모리‑중심 버퍼는 휘발성 메모리 용량에 제한을 받지만, USER의 버퍼는 디스크에 지속적으로 데이터를 기록하면서도 메모리 캐시를 활용해 고속 샘플링을 유지한다. 이는 장시간(일·주 단위) 실험에서 네트워크 장애나 로봇 리셋이 발생해도 데이터 손실 없이 복구하고, 과거 데이터를 재활용해 데이터 효율성을 크게 향상시킨다. 또한, 버퍼는 메타데이터 기반 인덱싱을 제공해 특정 시점·시나리오의 트래젝터리를 빠르게 조회할 수 있다.

마지막으로, USER는 보상, 알고리즘, 정책을 추상화하는 모듈식 API를 제공한다. 보상은 규칙, 인간 피드백, 학습된 모델 등 다양한 형태로 정의 가능하고, 정책은 CNN/MLP 기반 컨트롤러, 흐름 기반 생성 정책, 대규모 Vision‑Language‑Action(VLA) 모델까지 포괄한다. 이를 통해 imitation learning, 강화학습, 혹은 하이브리드 방식 모두를 동일 파이프라인에서 실행할 수 있다. 전체 시스템은 오픈소스로 공개돼 연구자들이 손쉽게 클러스터를 구성하고, 새로운 로봇·모델을 플러그인 형태로 추가할 수 있다.

요약하면, USER는 로봇을 첫 번째 클래스 자원으로 끌어올리고, 네트워크·컴퓨팅·데이터 관리 전반을 통합·확장 가능하게 설계함으로써, 실세계 장기 온라인 정책 학습을 위한 실용적이고 재현 가능한 인프라스트럭처를 제공한다는 점에서 큰 의의를 가진다.