자율주행 차량 벤치마크를 위한 운전자 기반 모델 프레임워크

초록

본 논문은 인간 운전 행동을 대규모 항공 영상 데이터로 수집·정제하여 운전자 기반 모델(Driver Foundation Model, DFM)을 구축하고, 이를 자율주행 차량의 안전·편안함·효율·에너지 경제성 평가 기준으로 활용하는 프레임워크를 제안한다. DFM은 “How, What, Where, When, Why” 다섯 가지 질문에 답하도록 설계된 멀티모달 인코더·멀티태스크 디코더 구조를 갖추며, 인간 운전자의 행동 궤적, 통계적 분포, 상황 핫스팟, 시점 전이, 원인 해석을 제공한다. 이를 통해 자율주행 시스템의 설계·검증·벤치마크를 인간 수준으로 체계화한다.

상세 분석

이 논문은 기존 CCDM·책임감지 안전 모델이 1~3대 차량 상호작용에 국한되고, 규칙 기반이라 복잡한 ODD(Operational Design Domain)에서의 일반화가 어려운 점을 지적한다. 이를 극복하기 위해 저자들은 드론 기반 항공 촬영으로 전방위적인 교통 흐름을 포착하고, 영상 보정·객체 탐지·트래킹·스무딩 파이프라인을 통해 7.5백만 이상의 차량·보행자 궤적을 확보한다. 항공 시점은 차선·시야 차폐 문제를 최소화해 다중 에이전트 간 장기 의사결정 데이터를 제공한다는 강점이 있다.

DFM의 핵심 기능은 “How(행동 재현)”, “What(통계적 범위)”, “Where(핫스팟)”, “When(시점)”, “Why(원인)” 로 정의된다. 이를 구현하기 위해 멀티모달 인코더는 ① 언어 인코더(GPT 기반)로 사용자의 질의 의미를 파악하고, ② 궤적 인코더로 다중 에이전트의 kinematic 데이터를 임베딩, ③ 속성 인코더로 차량 종류·크기 등 물리적 특성을, ④ 환경 인코더로 날씨·조명·도로 상태 등을 인코딩한다. 교차‑Attention 혹은 공유 잠재공간을 통해 이들 임베딩을 융합한다.

디코더는 다중 태스크 구조로, (1) 궤적 디코더는 언어‑조건부 인간‑최적 궤적을 생성해 AV의 의사결정과 비교할 기준을 제공하고, (2) 파라메트릭 분포 헤드가 속도·가속·Jerk 등 통계적 범위를 추정해 “competence envelope”를 정의한다. (3) 시공간‑시간 어트리뷰션 모듈은 Attention 가중치를 역투사해 “Where”와 “Why”를 시각화한다. 이러한 설계는 인간 운전의 질적·양적 특성을 동시에 포착하고, 설명 가능성을 확보한다는 점에서 기존 모방 학습 기반 모델과 차별화된다.

논문은 DFM을 안전·편안함·통행 효율·에너지 경제성 네 가지 벤치마크에 적용한다. 안전 측면에서는 주변 에이전트를 다양한 운전 스타일(공격적, 보수적)로 시뮬레이션해 AV의 견고성을 검증하고, 편안함에서는 Jerk·가속도 분포를 기준으로 인간 수준의 승차감을 정량화한다. 통행 효율은 인간 운전자의 목표‑지향적 속도·경로 프로파일을 추출해 AV가 교통 흐름에 방해되지 않도록 검증한다. 에너지 경제성은 인간 운전자의 관성 보존·Eco‑Driving 패턴을 모델링해 전력 소비 최소화를 지원한다.

전체적으로 이 연구는 대규모 실세계 데이터와 멀티모달 트랜스포머 기반 DFM을 결합해, 인간 운전 행동을 다차원적으로 정량·정성화하고, 이를 AV 개발·검증의 표준 기준으로 제시한다는 점에서 혁신적이다. 다만 데이터 수집 비용·프라이버시, 드론 촬영 제한 지역, 모델의 실시간 추론 효율성 등 실용화 과제도 남아 있다.