시간잔여 세계 모델로 구현하는 차세대 자율주행

초록

본 논문은 정적 배경을 그대로 유지하고 동적 객체만을 시간잔여(Temporal Residual) 형태로 추출해 미래 BEV( Bird‑Eye‑View) 특징을 예측하는 TR‑World 모델을 제안한다. 예측된 미래 BEV와 현재 시점에서 생성된 경로 후보를 상호작용시키는 Future‑Guided Trajectory Refinement(FGTR) 모듈을 통해 경로를 정교히 보정하고, 희소한 시공간 감독을 제공해 세계 모델 붕괴를 방지한다. nuScenes와 NAVSIM에서 기존 최첨단 방법들을 앞서며, 코드가 공개되어 재현 가능성을 높였다.

상세 분석

ResWorld 논문은 기존 엔드‑투‑엔드 자율주행 파이프라인이 겪는 두 가지 근본적인 한계를 정확히 짚어낸다. 첫 번째는 세계 모델이 정적 배경(도로, 건물 등)을 불필요하게 재모델링함으로써 연산 효율과 예측 정확도가 저하된다는 점이다. 두 번째는 미래 장면 표현과 경로 계획 사이에 깊은 피드백 루프가 부재해, 세계 모델이 단순히 프록시 손실을 최소화하는 수준에 머무른다는 점이다. 이를 해결하기 위해 저자들은 ‘시간잔여’라는 개념을 도입한다. 다중 시점의 BEV 특징을 동일 좌표계에 정렬한 뒤, 인접 시점 간 차이를 계산해 동적 객체가 차지하는 변화량만을 추출한다. 이 차이는 정적 요소가 상쇄된 순수한 동적 신호이므로, 별도의 객체 검출·트래킹 없이도 움직이는 차량·보행자 등을 효과적으로 포착한다.

TR‑World는 이러한 시간잔여를 입력으로 받아, 자체적인 Self‑Attention 블록을 통해 시계열 정보를 통합하고, TokenFuser를 이용해 기존 BEV 특징에 동적 잔여를 재삽입한다. 결과적으로 미래 BEV는 정적 배경은 현재 BEV 그대로 유지하고, 동적 객체만이 정확히 이동·변형된 형태로 표현된다. 이는 정적‑동적 분리를 명시적으로 수행함으로써 모델 파라미터를 동적 객체 예측에 집중시켜, 기존 세계 모델 대비 더 높은 공간‑시간 해상도를 달성한다.

또한 FGTR 모듈은 ‘미래‑유도 경로 정제’를 구현한다. 먼저 waypoint query 집합을 통해 현재 시점에서 예측된 사전 경로(T_prior)를 생성하고, 이를 기준점(reference point)으로 Deformable Attention을 적용해 미래 BEV와 상호작용한다. 이 과정에서 각 미래 시점의 ego 위치 주변에 존재하는 동적·정적 장애물 정보를 직접 조회함으로써, 충돌 가능성을 사전에 감지하고 경로를 즉시 수정한다. 동시에, 미래 BEV에 대한 희소 시공간 감독(sparse spatio‑temporal supervision)을 제공해, 세계 모델이 모든 입력에 대해 동일한 출력으로 수렴하는 ‘붕괴’ 현상을 방지한다.

실험 결과는 두 가지 주요 벤치마크에서 설득력 있게 제시된다. nuScenes에서는 L2 오프셋, 충돌율, 장기(3초) 평균 오류 등 모든 지표에서 기존 최고 성능을 넘어섰으며, NAVSIM에서도 복잡한 교차로·고속도로 시나리오에서 안정적인 주행을 보였다. 특히, 정적 배경을 재모델링하지 않음에도 불구하고 동적 객체 예측 정확도가 크게 향상된 점은 시간잔여 접근법의 효율성을 입증한다.

이 논문의 의의는 세 가지로 요약할 수 있다. (1) 정적‑동적 정보를 명시적으로 분리해 세계 모델의 연산 효율과 예측 정확도를 동시에 끌어올렸다. (2) 미래 장면 표현을 경로 계획에 직접 활용함으로써, 기존 프록시 손실 기반 학습을 넘어선 ‘양방향’ 최적화를 구현했다. (3) 희소한 시공간 감독을 통해 세계 모델의 안정성을 확보함으로써, 대규모 원시 데이터 기반 학습에 대한 실용성을 높였다. 향후 연구는 시간잔여를 보다 정교히 추출하는 방법(예: 비선형 변환, 다중 스케일 처리)과, FGTR을 다른 모듈(예: 행동 선택, 위험 평가)과 통합하는 방향으로 확장될 수 있다.