규칙과 언어가 결합된 실시간 자율주행 플래너 RADLAD

본 논문은 자율주행 플래닝에서 “기하학적 안전성”과 “시맨틱 적응성”이라는 두 핵심 요구를 동시에 만족시키기 위해 규칙 기반 플래너 RAD와 언어 기반 플래너 LAD를 설계·통합한 RAD‑LAD 시스템을 제안한다. 1. **배경 및 동기** 기존 폐쇄‑루프 자율주행 평가에서는 복잡한 교차로, 차선 차단, 보행자와의 상호작용 등 장기적인 시맨틱 이해가 요구되는 상황이 늘어나고 있다. 규칙 기반 플래너는 충돌 회피와 같은 기하학적 제약을 확실히 만족하지만, 긴급 상황에서의 협상·우선순위 판단 등은 한계가 있다. 반면, 대형 언어 모델을 활용한 플래너는 풍부한 상황 이해와 설명 생성이 가능하지만, 2–3 Hz 수준의 높은 레이턴시 때문에 실시간 제어에 부적합했다. 2. **LAD 설계** - **멀티모달 입력 인코딩**: 지도 요소(차선, 교차로 등)와 동적·정적 에이전트 정보를 PlanTF 로 임베딩하고, 경량 MLP 어댑터를 통해 LLM 토큰 공간에 pseudo‑token 형태로 삽입한다. - **프롬프트 구성**: “Given Environment and Agent Context, provide the Ego Agent Plan.”이라는 고정 프롬프트에 pseudo‑token을 interleave 하여 LLM이 자연어와 구조화된 정보를 동시에 처리하도록 한다. - **플래닝 헤드**: <|plan|> 토큰 뒤에 이산 궤적 어휘 V={v₁,…,v_K} 중 하나를 선택하도록 MLP 헤드(g) 를 배치한다. 각 궤적은 T개의 웨이포인트(시간·좌표)로 정의되며, soft‑cross‑entropy 로 학습한다. - **텍스트 설명**: <|plan|> 앞에 선택적으로 이유 텍스트 토큰을 생성하도록 학습한다. 이때 언어 손실 L_language 은 teacher‑forcing 방식으로 계산한다. - **Interruptible Inference**: 연산 예산이 충분하면 모델은 먼저 이유 토큰을 생성하고, 이후 <|plan|> 토큰을 통해 궤적을 출력한다. 예산이 부족하면 <|plan|> 토큰을 바로 삽입해 단일 전방 패스로 궤적을 얻는다. 이 설계는 안전 메커니즘이 즉시 플랜을 요구할 때 지연 없이 대응할 수 있게 한다. 3. **학습 커리큘럼** - **Stage A (Alignment)**: LLM은 고정하고 어댑터와 플래닝 헤드만 학습해 멀티모달 토큰을 언어 공간에 정렬한다. - **Stage B (LoRA Fine‑tuning)**: LoRA 모듈을 도입해 파라미터 효율적인 미세조정을 수행한다. 동시에 소량의 Interaction QA 데이터를 섞어 언어 능력 소실을 방지한다. 전체 손실은 L_plan + L_language 으로 구성된다. 4. **RAD 설계** - **동적 토폴로지 재계획**: 매 타임스텝 t 에서 현재 차량 상태 s_t 와 지도 M 을 입력으로 GraphSearch 를 수행해 제안 경로 집합 Γ_t 를 새로 만든다. 이는 정적 토폴로지에 비해 차선 차단, 우회 등 상황에 즉시 대응한다. - **차선 변경 지원**: 기존 PDM‑Closed 가 단일 중심선만 고려한 반면, RAD는 인접 차선 중심선(좌·우·반대 방향)까지 포함한 Γ_RAD 를 정의하고, 각 중심선에 대해 이산 lateral offset O 를 적용해 다양한 궤적 후보를 생성한다. - **목표‑지향 최적화**: 기존 비용 함수 J_PDM 에 목표 지점까지의 유클리드 거리 d_goal 를 직접 가중치 w_goal 로 추가해, 장거리 미션에서 진행성을 강화한다. - **비용 함수**: 충돌, 차선 위반, 최소 진행, 시간‑대‑충돌, 속도 준수, 경로 진행, 방향, 승차감 등 다양한 항목에 멀티플리케이티브 페널티와 가중합을 적용한다. 5. **하이브리드 RAD‑LAD** - **통합 흐름**: RAD가 제공하는 동적 후보 집합 Π_t 를 LAD에게 입력으로 제공한다. LAD는 언어‑조건부로 후보를 재평가하고, 필요 시 텍스트 설명을 부가한다. - **안전 가드레일**: RAD의 규칙 기반 검증이 먼저 수행돼, LAD가 생성한 궤적이 물리적·법규적 제약을 위반하면 RAD가 대체 플랜을 반환한다. 6. **실험 및 결과** - **벤치마크**: nuPlan Test14‑Hard, InterPlan, Val14 등 장기‑롱테일 시나리오에서 평가. - **성능**: LAD는 20 Hz 실시간 플래닝을 달성하면서 기존 언어 기반 플래너 대비 3배 낮은 레이턴시와 SOTA 성공률을 기록. RAD는 동일 벤치마크에서 규칙 기반 플래너 중 최고 점수를 획득. - **하이브리드**: RAD‑LAD는 두 플래너의 장점을 결합해 전체 성공률, 충돌 회피율, 규칙 위반율 모두 개선. 특히 복잡한 교차로·보행자 상호작용 상황에서 LAD의 텍스트 설명이 실시간 의사결정 지원에 기여함을 확인했다. - **Ablation**: 인터럽트 가능한 추론, LoRA 사용, pseudo‑token 삽입 방식, 동적 토폴로지 재계획 여부 등에 대한 상세 분석을 제공한다. 7. **한계 및 미래 연구** - 현재 LAD는 이산 궤적 어휘에 제한돼 연속적인 고해상도 궤적 생성에는 한계가 있다. 향후 diffusion 기반 연속 궤적 생성과 결합이 제안된다. - RAD의 그래프 탐색 비용이 복잡한 도시 환경에서 증가할 수 있어, 효율적인 토폴로지 업데이트 알고리즘이 필요하다. - 하이브리드 시스템의 의사결정 순서를 동적으로 조정하는 메타‑플래너 설계가 향후 연구 과제로 남는다. 본 논문은 실시간 폐쇄‑루프 자율주행에 규칙 기반 안전성과 대형 언어 모델의 시맨틱 적응성을 동시에 제공하는 통합 프레임워크를 최초로 제시함으로써, 향후 상용 자율주행 시스템 설계에 중요한 방향성을 제시한다.