원격 롤아웃으로 비용 효율적인 대규모 강화학습 프레임워크 ECHO 2

초록

ECHO-2는 중앙 집중식 학습과 원격 추론 워커를 결합한 분산 강화학습 시스템이다. 정책 스테일리니스를 사용해 롤아웃 생성, 정책 전파, 학습을 겹쳐 실행하고, 피어‑어시스트 파이프라인 브로드캐스트와 비용 인식 워커 활성화를 통해 넓은 지역 네트워크 환경에서도 학습자 활용률을 유지하면서 비용을 크게 절감한다. 4B·8B 모델에 대한 실험에서 기존 중앙 집중식 파이프라인 대비 비용 효율이 크게 향상되었으며, 보상 성능은 유지된다.

상세 분석

ECHO-2는 “중앙 학습 + 분산 롤아웃”이라는 단순하지만 강력한 아키텍처 원칙을 채택한다. 핵심 아이디어는 정책 스테일리니스를 사용자 정의 파라미터 S 로 제한함으로써, 원격 추론 워커가 최신 정책 스냅샷을 받지 못하더라도 일정 수준 이하의 지연을 허용하고, 학습자는 이 지연을 활용해 연산을 멈추지 않는다. 이를 위해 학습 단계마다 κ = S‑1 주기로 정책 스냅샷을 브로드캐스트하고, 워커들은 트리 구조 피어‑어시스트 전파 방식을 사용해 수신 즉시 로컬에 정책을 적용하고 롤아웃을 시작한다. 이 파이프라인은 전파 지연 T_bcast와 학습 시간 T_train, 각 워커의 롤아웃 처리량 μ_i 를 명시적으로 모델링한다.

논문은 겹침 조건 κ T_train ≥ T_bcast + κ R / ∑_{i∈A} μ_i 로, 학습자가 연속적으로 활용되기 위해 필요한 총 롤아웃 처리량 μ_min(κ)를 도출한다. 여기서 R은 한 학습 단계에 필요한 롤아웃 수이며, A는 활성 워커 집합이다. 이 식은 이질적인 워커 풀을 단일 수치 요구량으로 압축해, 비용‑인식 프로비저닝을 가능하게 한다. 비용은 각 워커의 단위 처리량 비용 ρ_i = c_i / μ_i 로 정의되며, 최소 비용 워커 조합을 선택해 전체 비용을 최소화한다.

시스템 구현 측면에서 ECHO-2는 Parallax를 추론 서빙 백엔드로 활용해 모델 배포 복잡성을 크게 낮춘다. 피어‑어시스트 브로드캐스트는 트리 레벨을 조정해 대역폭 제한 상황에서도 꼬리 지연을 최소화한다. 또한, 워커의 가용성 및 처리량 변동을 실시간으로 감지해 활성 워커 집합 A를 동적으로 재구성한다. 이러한 설계는 넓은 지역 네트워크에서 발생하는 높은 RTT와 비동기성, 이질성을 자연스럽게 흡수한다.

실험에서는 4 B와 8 B 규모의 LLM을 GRPO 알고리즘으로 사후 학습시켰으며, 실제 WAN 대역폭(예: 10 Mbps ~ 100 Mbps) 환경을 재현했다. 결과는 ECHO-2가 동일 보상 수준을 유지하면서 전체 학습 비용을 30 % ~ 50 % 절감함을 보여준다. 특히, 스테일리니스 S를 3으로 설정했을 때 학습자 활용률이 95 % 이상 유지되었으며, 비용‑효율성은 기존 중앙 집중식 파이프라인 대비 크게 우수했다.

전반적으로 ECHO-2는 정책 스테일리니스를 시스템 설계 변수로 승격시켜, 넓은 지역 분산 환경에서도 학습자 활용률을 보장하고, 비용‑효율적인 롤아웃 파이프라인을 구현한다는 점에서 기존 비동기 RL 시스템과 차별화된다.