Found‑RL: 자율주행을 위한 기초모델 강화 강화학습 플랫폼

초록

**
Found‑RL은 비전‑언어 모델(VLM)과 CLIP을 비동기 배치 추론으로 연동해 자율주행 강화학습(RL)의 샘플 효율성과 의미 해석성을 크게 향상시킨다. VMR·AWAG로 VLM 행동 제안을 정책에 정규화하고, 조건부 대비 행동 정렬(Conditional Contrastive Action Alignment)로 CLIP 기반 밀집 보상을 제공한다. 비동기 설계 덕분에 실시간 학습(≈500 FPS)을 유지하면서 경량 RL 에이전트가 억대 파라미터 VLM 수준의 성능에 근접한다.

**

상세 분석

**
Found‑RL 논문은 자율주행 분야에서 강화학습(RL)이 직면한 두 가지 핵심 문제—샘플 비효율성과 복잡 상황에서의 의미적 해석 부족—를 해결하기 위해 최신 기초 모델(Foundation Model), 특히 비전‑언어 모델(VLM)과 CLIP을 활용한다. 가장 큰 기술적 혁신은 비동기 배치 추론 프레임워크이다. 기존 RL 루프는 매 시뮬레이션 스텝마다 VLM을 호출하면 수백 밀리초~수초의 지연이 발생해 학습이 사실상 정지한다. Found‑RL은 시뮬레이션 워커가 관측과 메타데이터(속도, 명령, 교통신호 등)를 프롬프트로 변환해 공유 요청 큐에 넣고, 별도 추론 서버가 일정 크기와 타임아웃을 기준으로 마이크로‑배치를 구성해 병렬로 VLM을 실행한다. 이렇게 하면 시뮬레이션은 VLM 응답을 기다리지 않고 계속 진행되며, 전체 파이프라인이 초당 수천 프레임(≈500 FPS) 수준의 실시간성을 유지한다.

행동 지도 메커니즘으로는 **Value‑Margin Regularization (VMR)**와 **Advantage‑Weighted Action Guidance (AWAG)**를 제안한다. VMR은 VLM이 제시한 행동을 정책의 행동 분포와 비교해, 가치 차이가 일정 마진 이상일 경우 KL‑다이버전스 형태의 정규화 손실을 가한다. 이는 정책이 VLM의 “전문가 수준” 행동을 무조건 복제하기보다, 가치 기반으로 선택적으로 학습하도록 만든다. AWAG은 VLM 행동에 대한 어드밴티지를 추정해 가중치를 부여하고, 정책 업데이트 시 해당 가중치를 곱해 손실에 반영한다. 두 기법 모두 VLM의 풍부한 의미 정보를 활용하면서도 RL의 탐색·수렴 특성을 보존한다.

보상 설계에서는 CLIP 기반 밀집 보상을 도입한다. CLIP은 이미지‑텍스트 쌍을 대비 학습했지만, 자율주행에서는 “동적 맹목성”(dynamic blindness)이라 불리는 상황‑특정 컨텍스트를 무시하는 경향이 있다. 이를 해결하기 위해 논문은 Conditional Contrastive Action Alignment를 설계했다. 먼저 차량 속도와 현재 고속도로 명령(예: 차선 변경, 정지 등)을 이산화해 텍스트 프롬프트에 삽입한다. 그런 다음 사전 정의된 소수의 “액션 앵커”(예: 가속, 감속, 차선 유지 등)와 현재 관측을 CLIP에 입력해 각 앵커에 대한 유사도 점수를 얻는다. 이 점수들을 정규화하고 마진 기반 보너스로 변환해 기존 환경 보상에 더한다. 결과적으로 보상이 더 풍부하고 상황에 민감해져, 희소 보상만으로는 학습이 어려운 복잡 교차로나 급정거 상황에서도 에이전트가 빠르게 정책을 개선한다.

플랫폼 차원에서는 CARLA 기반 시뮬레이터와 연동된 통합 파이프라인을 제공한다. 시뮬레이션, 알고리즘, 어플리케이션 3개의 모듈이 명확히 구분돼, 연구자는 VLM 종류, 프롬프트 설계, 보상 함수 등을 플러그인 형태로 교체할 수 있다. 또한 Replay Buffer에 VLM 피드백(행동 제안, 가용성 지표)과 CLIP 점수를 함께 저장해, 기존 오프‑폴리시 액터‑크리틱(SAC, DrQv2 등)과 손쉽게 결합한다.

실험에서는 수백만 파라미터 규모의 경량 정책 네트워크가 억대 파라미터 VLM과 거의 동등한 성공률, 충돌 회피율, 평균 속도 등을 기록했으며, 특히 복잡 교차로와 급정거 시나리오에서 VLM‑가이드 없이 학습한 베이스라인 대비 30% 이상 성능 향상을 보였다. 또한 비동기 배치 추론 덕분에 전체 학습 파이프라인이 1 GPU 환경에서도 500 FPS를 유지, 기존 VLM‑통합 방식이 초당 수십 프레임에 머물렀던 점과 큰 차이를 만든다.

한계점으로는 VLM과 CLIP의 사전 학습 데이터 편향이 여전히 존재해, 특정 날씨·조명 조건에서 오류가 발생할 수 있다는 점, 그리고 비동기 설계가 복잡한 디버깅과 시스템 엔지니어링 비용을 증가시킨다는 점을 언급한다. 향후 연구에서는 멀티‑모달 LLM과의 결합, 온라인 파인‑튜닝을 통한 도메인 적응, 그리고 실차 테스트를 통한 실시간 안전 검증이 제시된다.

**