예측 정확도와 실제 주행 성능의 괴리 해소 폐루프 평가로 본 모션 예측 모델

초록

본 논문은 최신 모션 예측 모델을 오픈루프 지표만으로 평가하는 기존 방식의 한계를 지적하고, 예측 결과를 실제 플래너와 연동한 폐루프 시뮬레이션을 구축한다. 다양한 SOTA 예측기와 플래너 조합을 실험한 결과, 오픈루프 오차가 낮다고 해서 폐루프 주행 성능이 반드시 향상되는 것은 아니며, 예측의 시간적 일관성·플래너와의 호환성이 핵심 요인임을 확인한다. 또한 모델 파라미터를 크게 축소해도 폐루프 성능이 유지되거나 개선되는 경우가 있음을 보여준다.

상세 분석

이 연구는 모션 예측과 플래닝을 별개의 모듈로 구성하는 전통적인 자율주행 파이프라인을 전제로 한다. 기존 벤치마크는 주로 minADE·minFDE와 같은 거리 기반 지표로 예측 정확도를 평가했으며, 이는 모델이 실제 주행 상황에서 어떻게 활용되는지를 반영하지 못한다. 논문은 먼저 이러한 오픈루프 지표와 폐루프 주행 성능 사이의 상관관계를 정량화하기 위해 nuPlan 시뮬레이터와 UniTraj 데이터 인터페이스를 결합한 폐루프 평가 프레임워크를 구축한다. 핵심 설계는 (1) 동일한 시나리오에서 비반응형 에이전트를 사용해 예측기만의 영향을 격리하고, (2) 두 종류의 최적화 기반 플래너(nuPlan 기반 플래너와 UniTraj 기반 플래너)를 교차 적용해 플래너‑예측기 상호작용을 분석한다는 점이다.

예측 모델은 Autobot, Wayformer, Motion‑Transformer(MTR) 등 최신 트랜스포머 기반 3종과 그 축소 버전(Mini) 및 단순 Kinematic 모델, Oracle 모델을 포함한다. 파라미터 수는 65M에서 1.5M까지 다양하며, FLOPs 역시 10.34G에서 1.66G까지 차이가 난다. 실험 결과는 다음과 같은 인사이트를 제공한다.

1. 오픈루프 정확도와 폐루프 성능의 비선형 관계

   • 상위 5% 오픈루프 성능을 보인 MTR이 폐루프에서는 평균 점수 0.78을 기록했지만, 파라미터를 86 % 축소한 MTR‑Mini는 0.81로 오히려 높은 점수를 얻었다.
   • 반대로, Wayformer‑Mini는 오픈루프에서는 약간의 성능 저하를 보였지만, 플래너와의 호환성 문제(예: 예측 모드 수와 플래너의 샘플링 전략 불일치)로 폐루프 점수가 크게 떨어졌다.

2. 시간적 일관성(Temporal Consistency)의 중요성

   • 동일 에이전트에 대해 연속적인 타임스텝에서 예측이 급격히 변동하면 플래너가 급제동·가속을 반복하게 되어 충돌 위험과 승차감 저하가 발생한다.
   • 모델이 작은 파라미터로도 예측 궤적을 부드럽게 유지하면 플래너가 더 안정적인 최적화 문제를 풀 수 있다.

3. 플래너‑예측기 호환성

   • 플래너가 요구하는 “모드 수·확률 분포·시간 해상도”와 예측기가 제공하는 형식이 맞지 않을 경우, 플래너는 불필요한 보수적 행동(속도 감소, 차선 유지)으로 전환한다.
   • 특히, nuPlan 플래너는 확률적 모드와 그 로그 가능도(NLL)를 활용해 위험 회피를 수행하므로, 예측기의 NLL이 낮을수록 플래너가 더 공격적인 주행을 할 수 있다.

4. 모델 경량화의 실용적 의미

   • 파라미터를 크게 줄이면 연산량과 메모리 요구가 감소해 실시간 인퍼런스가 용이해진다.
   • 실험에서는 86 % 파라미터 감소 모델이 동일하거나 더 나은 폐루프 점수를 기록했으며, 이는 실제 차량에 탑재할 때 전력 소모와 비용 절감으로 직결된다.

5. 데이터셋 다양성 및 일반화

   • UniTraj를 통해 NuScenes, Argoverse2, Waymo Open, Shifts 등 네 개의 데이터셋을 통합했으며, 각 데이터셋 간 도메인 차이가 예측기의 일반화 능력에 큰 영향을 미쳤다.
   • 특히, Shifts 데이터셋에서 훈련된 모델은 다른 데이터셋에 비해 폐루프에서 더 일관된 성능을 보였는데, 이는 다양한 도로·교통 상황을 학습했기 때문으로 해석된다.

결론적으로, 논문은 “예측 정확도만을 극대화하는 것이 아니라, 예측의 시간적 연속성, 확률적 표현, 플래너와의 인터페이스 설계”가 폐루프 주행 성능을 좌우한다는 중요한 교훈을 제시한다. 또한, 모델 경량화가 반드시 성능 저하를 초래하지 않으며, 실제 자율주행 시스템 설계 시 효율적인 트레이드오프를 모색할 여지를 제공한다.