경량 3D 래스터화로 강화된 엔드투엔드 주행 계획

초록

RAP는 고해상도 신경렌더링 대신 라벨이 부착된 기하학적 프리미티브를 빠르게 래스터화해 가상 시점을 생성하고, 실이미지와의 특징 공간 정렬(R2R)로 시뮬‑리얼 격차를 메운다. 이를 통해 회복 행동과 교차 에이전트 시점 합성을 대규모 데이터 증강으로 활용해 닫힌 루프 주행에서 기존 방법을 앞서며, NAVSIM·Waymo·Bench2Drive 등 네 가지 벤치마크에서 1위를 차지한다.

상세 분석

본 논문은 엔드투엔드(End‑to‑End) 자율주행 정책이 전문가 시연에만 의존할 경우, 폐쇄 루프 배포 시 작은 오차가 누적돼 복구 데이터가 부족해 실패한다는 문제를 지적한다. 기존의 포토리얼리스틱 디지털 트윈(NeRF, Gaussian Splatting, 게임 엔진 등)은 시각적 충실도가 높지만 연산 비용이 막대해 대규모 학습에 부적합하고, 주로 평가 단계에만 활용돼 왔다. 저자들은 “주행에 필요한 핵심은 텍스처·조명보다 기하·의미·동역학”이라는 가설을 세우고, 이를 검증하기 위해 3D 래스터화 파이프라인을 설계했다.

1. 3D 래스터화

   • 로그에 포함된 지도 폴리라인, 차량·보행자·교통신호 등 3D 박스를 라벨링된 프리미티브로 변환하고, 카메라의 내·외부 파라미터를 이용해 투영한다.
   • 깊이 기반 알파 블렌딩과 Sutherland‑Hodgman 클리핑을 적용해 정확한 가시성을 보장하면서, 텍스처와 조명은 의도적으로 배제한다.
   • 결과 이미지(I∈ℝH×W×3)는 기하학적·의미적 정보를 보존하므로, DINOv3와 같은 사전학습 비전 인코더가 추출한 특징이 실제 이미지와 높은 상관성을 보인다(논문 Figure 4).

2. 데이터 증강

   • 복구 지향 교란(Recovery‑oriented perturbation): 원본 궤적에 좌·우·전·후 오프셋과 가우시안 노이즈를 추가해 비전문가 경로를 생성하고, 이를 래스터화해 “오프‑디스트리뷰션” 상황에서 복구 행동을 학습한다.
   • 교차 에이전트 시점 합성(Cross‑agent view synthesis): 로그에 존재하는 다른 에이전트의 궤적을 ego 카메라 파라미터에 그대로 적용해, 다양한 시점·상호작용을 제공한다. 두 기법을 결합해 50만 건 이상의 합성 샘플을 생성, 장기적인 다양성과 희귀 상황을 확보한다.

3. Raster‑to‑Real (R2R) 정렬

   • 공간 레벨 정렬: 실이미지 xr와 대응하는 래스터 이미지 xs를 동일한 비전 인코더 ϕ에 통과시켜 특징 맵 Fr, Fs를 얻고, Fs를 고정한 뒤 Fr을 MSE 손실로 맞춘다. 이는 픽셀‑레벨 차이를 무시하고 의미‑기하학적 정보를 직접 정렬한다.
   • 전역 레벨 정렬: 평균 풀링한 전역 특징 g에 대해 도메인 구분기와 Gradient Reversal Layer을 사용해 도메인 혼동을 유도, 배경·조명 차이와 같은 전역 편향을 완화한다.
   • 이러한 두 단계 정렬은 라벨이 풍부한 합성 데이터와 실제 데이터 사이의 특징 격차를 최소화해, 학습된 정책이 실제 카메라 입력에서도 동일하게 동작하도록 만든다.

4. 실험 및 결과

   • NAVSIM v1/v2, Waymo Open Dataset Vision‑based E2E Driving, Bench2Drive 등 네 가지 공개 벤치마크에서 RAP‑DINO(본 논문의 최종 모델)가 모든 주요 지표(NC, DA, TTC 등)에서 최고 혹은 2위 성적을 기록했다. 특히 복구 성공률과 장거리 안전성(TTC)에서 기존 DiffusionDrive, AutoVLA 등 최신 방법을 크게 앞섰다.
   • Ablation study에서는 (a) 포토리얼리스틱 렌더링 대비 10배 이상 빠른 렌더링 시간, (b) R2R 정렬 없이 단순 래스터만 사용했을 때 성능 저하, (c) 각각의 데이터 증강 기법이 독립적으로도 성능 향상에 기여함을 입증했다.

5. 의의와 한계

   • 본 연구는 “시각적 사실성보다 의미‑기하학적 충실도가 중요”라는 주장을 실험적으로 뒷받침하며, 대규모 데이터 증강을 위한 비용‑효율적인 대안을 제시한다. 이는 자율주행 연구에서 시뮬레이션 비용을 크게 낮추고, 실제 도메인에 빠르게 전이할 수 있는 길을 연다.
   • 한편, 래스터화는 텍스처·조명 정보를 완전히 배제하기 때문에, 시각적 신호(예: 도로 표지판 색상 변화, 날씨에 따른 가시성 저하)와 같이 순수 기하학으로는 표현하기 어려운 상황에 대한 일반화는 추가적인 보완이 필요할 수 있다.